衢州书院始创于清康熙四十七年1708年，由当时衢城名士、雍正元年举人吴士纪所建，初名修文，后经多次毁废重修。现存书院位于衢州市区小西门，为清代建筑。书院坐北朝南，占地面积约850平方米，平面呈纵长方形，从南至北依次为大门、前厅、后厅和楼房。前后厅之间有天井，两侧有厢房和走廊，后厅与楼房之间亦有天井。