本館建於西元1865年，是台灣的第一棟洋樓，但他另人驚訝的不止於此。首先介紹他的建築構造，它的每塊磚塊都遠從廈門航運來此，是一種中國古式的手工磚，而灰縫則是使用平縫式，至於磚柱方面，在館中有方柱、併柱及轉角柱三種，轉角柱併柱轉成曲尺形，轉柱上端以兩片磚作出柱節及拱基，拱基也作出凸凹齒，以美化外型，而粘合用的灰漿則使用石灰、糯米、糖汁及少量蠣殼粉混合形成的三合土，這種古老的灰漿在凝固之後會出現比現代水泥還要堅硬的程度，在鋼筋混泥土尚未普及的時代，能夠有如此程度的建築，也是打破歷史的盛舉。設計如此完美的建築，當然在常碰到雨季的台灣就要多特別注意排水的設施，設計師以精良的磚功砌出的空花洞欄杆，小孔開三個，大孔開五個，每道欄杆的的下緣設有許多排水孔；欄杆下的台基石呈45度斜角，以利排水，再加上清末洋樓的建築特色「竹節狀排水管」，作為排水之用，至今仍使用中。此外，洋樓牆壁厚度皆為0.5碼，當年採用英制度量單位建造，由此點可以推證出設計此館的人應為英國的知名建築師。

地下室通風小窗也是石雕的，且是使用中國式的「錢紋」，非常有趣，或許是當年也有不少中國匠師共襄盛舉所留下的證據吧。曾經飽受摧殘的領事館，在建築的維修改造方面，運用以舊換舊的古蹟修護工法，使其原貌重現；至於經過整修的本館還有另一特點，運用已舊換舊的修護工法後，本館屬精美的紅磚建築，兩側皆設有拱型迴廊，舉頭仰視一樓迴廊上方，可以看見一種罕見的浪形鐵板拱構造，架在工字鐵樑之上，上面則鋪平，作為二樓的地板。這種極為特別的構造，是十九世紀末期的發展「波浪鐵板拱」（Corrugated-Iron Arches）樓板，具有防火功能的構造，且又能避開南台灣的夏日、驟雨，有冬暖夏涼之功，精美的半圓拱呈韻律感的排列，花欄石雕、圓拱設計，充分顯現後文藝復興時期巴洛克建築風格的美感。