始建于1929年的市立中山图书馆旧址（现孙中山文献馆，省立中山图书馆下属机构），至今仍巍然耸立，是省内为数不多仍保存完好的民国初期建筑。

1927年6月，当时的市政委员长（相当于现在的市长）林云陔提出筹建广州市立中山图书馆，后获美国、加拿大、墨西哥、古巴四国1.5万名华侨捐赠20多万美元（合当时的广东毫洋30多万元），最后定址久负盛名的广府学宫———此地从宋绍圣三年（1097年）起，先后是广州府儒学（文庙）、番山书院、万木草堂所在地。工程由当时著名的建筑学家林克明设计，于1933年10月落成，系宫殿式建筑物，绿瓦朱檐，颇为壮丽。

1938年，广州被日军攻陷，幸而早在抗战之初，该馆就将藏书中的珍善本及重要资料5万余册疏散到市郊龙归及广西象县保存。1946年图书馆复馆，接收伪市立图书博物馆书刊12万多册，挂图168幅，取回前存龙归的藏书，并追回被日寇掠去的一部分图书。

民国时期，著名史学家罗香林先生及其夫人朱曾先后担任过馆长。1946-1949年朱任馆长期间，在财力、人力极其匮乏的情况下将图书馆重开，并收回大部分流散的图书，还首创巡回书车进入各区，将书籍大批借给学校、团体阅览研究，成为广州最早的“汽车图书馆”。

2002年8月广州市人民政府公布为文物保护单位。