因杜甫曾作为节度参谋检校工部员工郎，故称杜工部，祠由此得名。祠堂一屋三楹，封山亮柱，高台石阶，花窗格门，肃穆庄重。祠内有明、清两代石刻杜甫像，其中明万历三十年1602石刻杜甫半身像是草堂遗存最早的石刻像。宋代诗人黄作上都推崇杜甫，以杜诗为宗，所以清代将黄庭坚、陆游配祀于杜甫像两侧，故又称三贤堂。堂中有荒江结屋公千古，异代升堂宋两贤的联语。壁间还嵌有清乾隆、嘉庆年间石刻少陵草堂图，刻工精细，解放后即是据此图恢复草堂旧貌。