绮园原为冯氏花园，为江南典型私家园林风格。清同治九年公元1871年，园主冯缵斋于此建宅三进，次年冯缵斋综合其岳父黄燮清经营的明代故园拙宜园、砚园两废园之精华，在自己住宅冯三乐堂后辟地修建园林，建成了现在的绮园。成为浙江园林中的一颗名珠。