許世賢故居位於嘉義市共和路167號。青綠色的大門，外觀傳統質樸，毫無裝飾痕跡。如果不是按圖索驥，很容易忽略它的存在。大門前唯一可辨識許世賢博士故居的是右側下方一塊低調的長方形直立式匾額，鐫刻著「女性文化地標」，以紀念許世賢博士對於台灣女性的啟發和對於台灣民主的貢獻。

　　許世賢故居門牆上的「女性文化地標」由嘉義市女性藝術工作者吳娟設計、製作，為一座170公分高的長方型原木嵌銅浮雕。檜木材質帶入許世賢當代的林業產業意象，上方珠簾象徵女性地位，圖面蓮花旨在表彰許世賢清廉問政的形象。

　　進入地標旁的柵門，沿著小徑一路來到加上前後院不到百坪的七十多年古厝，不少人難以想像這是一生行醫從政的許世賢故居，格局方正的屋內除了牌匾字畫，連擺飾也沒有一點鋪張之氣。這幢看似平凡的房子孕育了嘉義市三位市長。承襲母親腳步，張文英和張博雅都在行醫後轉戰政壇，三幅母女當選市長慶賀扁額，在屋簷下一字排開，令人印象深刻。