在1841至1842年间，香港动植物公园的地段是曾作为香港总督的官邸。及后于1848年，香港政府已有兴建一个植物公园的计划，但因财政不足而需要押后。后来建筑工程于1860年展开，并于1864年8月6日把第一期设施开放给民众使用。由于公园以北的上亚厘毕道即为港督府的所在地，而香港市民称统领香港三军的香港总督为兵头，所以这座公园普遍又被称为兵头花园。