山顶是灵岩寺，即吴王馆娃宫的旧址。春秋吴越夫椒一战，越国大败，越王勾践和大夫范蠡被押为人质，居住在石室之中，向夫差献上越中美女西施。吴王夫差为西施在灵岩山上建造行宫，铜钩玉槛，奢侈无比。吴人称美女为娃，故名馆娃宫公元前 473年，越王勾践从水路攻进吴国，把这富丽堂皇的馆娃宫付之一炬，烧成断壁残垣。东晋时有人在灵岩山吴宫遗址修建别业。后舍宅为寺，南朝梁天监二年503年扩建为寺院，名秀峰寺。唐代改称灵岩寺。