大善塔据传是在约1500年前南齐时，绍兴城内有位钱姓少女，16岁时便因病去世，临终前留下遗愿，将奁中遗资捐建大善寺、大善塔。大善塔始建于南朝梁天监三年公元504年，历代经过多次重修。旧时绍兴民间有联曰：小江桥，桥洞圆，圆如镜，镜照山会两县；大善塔，塔顶尖，尖如笔，笔写五湖四海。