桂园建筑主楼为砖木结构，一楼一底，西式建筑，建筑面积493.3平方米，占地面积726.3平方米。桂园初为国民政府财政部司长关吉云所有，后成为中国国民革命军陆军二级上将张治中的官邸，民国三十四年1945年8月至10月国共重庆谈判期间成为毛泽东、周恩来白天城内办公会客场所、国共双方代表谈判的地点之一及《双十协定》签定场所。桂园是第二次国共合作巅峰时期国共两党领袖共商国是和中国共产党真诚谋求和平民主团结的历史见证。 据传因院内主楼前有两株桂花树每年秋天开花之时满院花香馥而得名。