原來，「四知堂」是 楊姓子孫的堂號，出自東漢有一位名士叫楊震，他調任東萊太守的時候，路過昌邑，當時的縣令王密，是他在荊州刺史任內薦舉的官員，晚上帶金十斤作為禮物悄悄去拜訪。王密送這樣的重禮，一是對楊震過去的舉薦表示感謝，二是想請這位老上司以後再多加關照。楊震當場拒絕了這份禮物，說： “ 故人知君，君不知故人，何也 ?” 王密以為楊震假裝客氣，便道： “ 幕夜無知者。 ” 楊震立即生氣了，說： “ 天知、神知、我知、子知，何謂無知？ ” 王密十分羞愧，只得帶著禮物，狼狽而回。 “ 四知 ” 乃成為千古美談，其後人以此為堂號。

最特別的是外表與一般住家沒什麼兩樣的杉行街，原來也是鹿港的長條式街屋，可以從中間診療的樓井採光，及屋子，是楊師傅家的另一頭位於德興街號的「家藏滷味」店面，從中去想像，一進又一進的長條屋， 門口的奉茶及偶能看到老闆親自手寫提袋，感受到溫潤的情意。