舊書攤是牯嶺街上，除了小劇場和創意市集外，另一大深具歷史性的特色。
    在日據時期，現今的牯嶺街，是日本人為了樟腦專賣事業，以及台日隔離政策下所生成的一條專為日人住宅所規劃的街道。由於其地理位置靠近樟腦工廠以及總督府專賣局，牯嶺街對內作為日人的住宅街道，附近的南海路和南昌路則負責對外交通的需求，經由南海路連結到縱貫鐵路，統籌樟腦專賣事業的總督府，便得以將樟腦工廠所生產的貨物，運送到基隆海關，再經海運送達日本本土。
    第二次世界大戰結束後，根據戰敗國條約，日本人必須全數被強制遣返，而且規定這些待遣返的日僑只能帶一些簡單的衣物及日用品，就連書籍也以「與作戰無關、非歷史性書籍及文件報告書統計數字暨其他類似資料」為原因，每個人所攜帶的物品必須「一挑自行搬運上船」。一方面因為沒辦法帶太多東西回日本，一方面因為缺乏生活資金，於是日本人在路邊擺設地攤，將家中值錢的生活用品、碑帖字畫、藝品古玩或書籍拿出來拋售。為了籌措旅費，在街頭擺攤的日僑不惜成本，懷著賣一件是一件的心理，要價皆十分低廉；甚至，一些有著不錯商業頭腦的台灣人，為了買到價格最低廉的商品，直接進到日本人家中，和他們殺價買東西。
    在這段時間裡，僅僅台北一地就有10萬以上的人口在待遣返的行列之中。這些人為了防止經濟來源被反殖民者完全斷絕，整個台北火車站附近以及西門鬧區幾乎全是待遣日人擺設的大小攤子。終於，在日僑都逐漸回國後，牯嶺街路邊曾經空曠一時；但到了1949年間，又漸漸開始有人在牯嶺街擺地攤，販賣的商品除了一些日僑所丟棄或殘缺的日文書刊與藝品外，還夾雜著販賣舊衣服以及日常用品的攤販。這些景象，在光復初期的台北可以說是到處可見，這些舊書攤大多沒有固定的店面，且飄忽不定、散播各地，極少固定下來。後來，到各個攤位都佔地為王、各就各位後，這些流動街頭的攤位便慢慢固定下來，也形成幾個舊書攤的聚集中心：城內的衡陽路、中華路與重慶南路、城南的牯嶺街，以及信義路的國際學社附近。
    到了1954年左右，賣舊衣舊貨的攤販漸漸往萬華的方向移動，但販賣舊書籍的攤販則在原地一天一天的增加。牯嶺街開始成為台北有名的舊書街。最初是少數幾個人在住宅外圍的人行道上擺攤，幾張報紙和一兩箱書就可以作為一個小書攤。後來擺攤者的數量快速增加，佔據的面積也逐漸擴大，發展到一條街上就有58家舊書攤的規模。那時的牯嶺街，幾乎少有有行號或是有舖面稱店的，路邊人行道上擺露天的攤位更難以估算。櫛次鱗比的攤位，綿延整條牯嶺街的景象，是當時牯嶺街與其他市街最大的不同點。
    但這種特殊的景象沒有繼續下去，政府為了整理市容，警局對舊書攤的限制一再擴大，希望擺攤者不要再擺設平面的攤位，佔據牯嶺街的道路面積，進而影響交通。因此牯嶺街的書攤，後來大多改成立體的架攤方式，或是固定的帳棚。到了1968年，政府公佈了「台北市攤販管理規則」，對舊書攤販的限制更加嚴格，也開始規劃牯嶺街固定的書攤位置，不但使牯嶺街的秩序得以維持，同時也使舊書攤的攤位數從50家增加至80家左右。
    這段時期，正好是台灣經濟發展初期，也是中共文革開始後不久，當然也是牯嶺街發展最興盛的時期。張銀昌先生，一個牯嶺街舊書攤的老闆，曾在接受訪問時回憶說：「牯嶺街最興旺的時期，是1966年至1973年，那時候大陸正搞文化大革命，香港的書商從大陸收購不到舊書，就到牯嶺街來買，一大箱、一大箱地搬走。」但繁榮的景象維持不久，牯嶺街命運在70年代初發生了改變。光華商場在1973年完工後，為了整頓市容，牯嶺街的舊書攤和舊書店大多數都遷入八德路的光華商場。而這些年來，就連光華商場舊書店也一路失守，從鼎盛時期的七八十家，凋零到現在，只剩下僅存的20餘家。