明治28(1985)年，日本以武力接收台灣後，建立以總督府制為主的殖民統治，清朝的各項制度皆遭變革。在教育設施方面，府縣儒學、書院、社學等官辦學制全遭廢絕，日人於臺灣總督府治下，以日本國內教育制度為準據，別創新教育制度，以遂行其殖民教育政策。指有民間的書房、私塾依然存在。日人載台灣所創辦的初等教育，是採取差別待遇及隔離政策。臺灣學子就讀公學校，日本人就讀小學校。小學校之辦理，是依日本國內制度，師資、課程、教學、教材、設備及經費甚至教師薪俸皆比公學校為佳。

　　大正8(1919)年1月4日，總督府首次發布《台灣教育令》，開始較有系統的建立台灣各級(初級、中級、高級及職業學校)教育系統，但還是採雙軌制，日本籍學生的教育依據日本內地法令，而台灣人就讀的學校，教育內容仍比日本同級學校程度低，修業年限較短。這一年，日本首次指派文官背景的田健次郎就任台灣總督。田健總督為因應第一次世界大戰結束後，世界各地興起的「民族自決」的思潮，統治採取較開明的作風，逐步取消台日教育的隔離及差別對待。田健治郎任內，致力於公學校的增設，以普及初級教育。

　　大正11(1922)年，台灣總督府頒布《改正台灣教育令》，實施「台日共學制」，初級教育仍維持台日隔離教育(公學校、小學校)，中等學校以上則採台日共學制。

這樣的措施看來立意雖佳，強調教育平等，台灣人也可報考原本只收日本學生的中等學校，然而由於中學入學考試都以日文作答，台灣人就讀的「公學校」，教材較日本人的「小學校」程度低，因此入學考試往往無法與日籍學生競爭。雖然台灣學生在初級學校占了絕大多數，但中等學校及高等學校的學生卻以日本籍學生占多數。只有以招收台灣人為主的「總督府醫學校」及「師範學校」才有較多的台籍學生。大正16(1941)年總督府又將小學校和公學校全部改為國民學校，雖然形式上平等但在課程與教學上仍各有差異。