天岳书院始建于清代同治六年（公元一八六七年）因为书院门对小天岳山而定名。门首有“天岳书院”四个镏金大字，两侧镌刻石联“天经地纬、岳峙渊渟”字体苍劲、雄浑，相传为清代学者李次青所书。院内原有讲堂三间，住室三间，东西斋各十四间。其中藏书楼三间，屈子祠及九君子祠，均因年代久远而废之。正中心的四柱大厅，即现今的小礼堂，两壁原有朱熹手迹”忠孝廉节”四个大字，早已粉刷干净。大厅前的花园，长着奇花异草，四季葱茏繁茂，令人留连忘返。整个房舍布局井然有序。仍依稀保存旧貌。

第二次国内革命战争时期，彭德怀同志率领的湖南独一第四师第一团于一九二八年五月驻扎于此，同年七月二十一日，彭德怀与滕代远、黄公略等同志在这里发动了著名的平江起义。成立了中国工农红军第五军，开辟了湘赣革命根据地。彭德怀及滕代远同志当年的住房至今保存着。

一九四五年，受党中央、毛主席派遣，由王震、王首道同志率领的三五九旅南下，曾驻扎在这里。

一九四九年七月二十六日－三十日，程潜和陈明仁将军的代表程星龄等人在这里会见了解放军的和平谈判代表团，促成了湖南全境的和平解放。

天岳书院于一九七二年七月被列为省重点文物保护单位。