寺庙的历史很老，但在1958年后，清凉寺被工厂、学校占用，佛像陆续遭毁，加上白蚁蛀蚀、年久失修，大殿残损严重。至1968年，为避险情，大雄宝殿拆除，只剩下台基和山墙部分遗迹保留至今。直到2015年9月才在原址按原规模复建。