清凉石是清凉寺的象征，文殊菩萨曾于清凉石上讲经说法，因此清凉石也称曼殊床，清凉寺因清凉石而得名。据清凉山志记载，清凉寺始建于北魏孝文帝延兴二年至太和十七年间472-493，唐代时，是镇国道场。清乾隆和民国年间都对寺院进行扩建，可惜文革时期整座寺庙被毁，唯有清凉石留存下来。现今的清凉寺是20世纪90年代后期重建的一座新寺。