东晋太和年间366年-371年邑人瞿硎先生隐居紫云洞，始开发山门。后人称灵岩洞为瞿硎石室，并刻石铭记。至唐贞元年间785年-805年始于洞旁建寺，宋治平年间1064年-1067年赐号灵岩寺。此后，寺之香火旺盛，经久不衰，文人墨客也接踵而至，吟咏较多，诗人周 有天下之奇山有门，山门之奇天下无诗句，为后人所传颂。至今石壁上仙岩壁、佛座灵岩等镌刻，仍依稀可辨。