青島市圖書館前身為1924年創立於莒縣路2號的膠澳商埠公立通俗圖書館，後幾經搬遷和易名，於1953年遷至魚山路37號並改稱青島市圖書館。1949年6月青島解放，同年11月由專家學者、文物收藏家、鑒賞家組成的青島市文化古物管理委員會(簡稱“文管會”)成立，文管會積極開展工作，除接收建國前遺留下來的文物外，還廣搜散藏於民間的古籍，更有張鏡夫(1889—1972，名鑒祥，諸城人，藏書樓名“千目廬”)、鄭爰居(1891—1958，名雲渠，又名再時，諸城人)等著名藏書家也將自己畢生所藏的大量珍貴古籍慷慨捐獻給了圖書館。到1956年文管會撤銷時，青島市圖書館的古籍收藏已從解放初期的一無所有達到了15萬冊，並形成了“明清兩代山東人著作”的館藏特色。