原为元代当地望族吴良用私宅，经数代经营，至明代吴梁贞石时已扩建为远近闻名的吴家花园。清乾隆时家道中落，花园卖给钱家成为钱氏义庄的一部分，俗称钱家花园。民国时钱氏家境渐衰，花园又卖与别家，但人们仍称之为钱家花园。