船山書院于光緒四年（1878）由張憲和創(chuàng)建于衡陽迥雁峰下的王衙坪王氏宗祠。書院內(nèi)仍祭祀船山神位，旨在學習、研究“船山學說”，傳播“船山思想”。這是中國最早以“船山”命名的學堂。
清光緒十年（1884），船山書院正式招收生徒，擇師主講，聘請李楊華為首任山長，書院章程由衡陽知縣張憲和奉學院令仿照廣東學堂制定，“不重科舉之學，授經(jīng)史詩賦”。當時的兩江總督曾國荃也“將家藏所刻《船山遺書》322卷板片捐置書院”（《彭剛直公奏稿》卷6《改建船山書院片》）。
清光緒十一年（1885）3月15日，彭玉麟認為船山書院逼近城市，不適合讀書，上 書奏請朝廷。并獨捐銀12000兩將船山書院遷建于湘江中的東洲島。初時建筑為三進四合院的古典式建筑，有大門、講學堂、紀念堂、會客堂、藏書館、精舍、湘綺樓等建筑，教學以“講明夫子之學”、“扶植人才”為目的，規(guī)定“分經(jīng)授徒”，“每月官師兩課”，“分經(jīng)命題，合卷發(fā)榜”，月課榜首之卷，收入《課藝》刊行。然其時學風日下，收效甚微。
清光緒十七年（1891），彭玉麟親自聘請王闿運為山長。因為王闿運嫌該書院后房狹小，彭玉麟又捐銀在書院后重建樓房5間（于1902年建成），題名“湘綺樓”，作為王闿運的書齋及住房，自此王闿運在此主持書院達20余年（1891—1915）。王力倡船山之學，人稱“經(jīng)學大明，弟子稱盛”，“湖南耆老皆出其門”，如楊度、夏壽田、蔣嘯青、陳兆奎、程崇信等。清末改書院為學堂時，王仍堅持未改，僅于1898、1901年略定課程，1905年分4科教學。1915年改為船山存古學堂，王作《船山書院記》以奠。其后相繼于1922年改為船山國學院，1925年改為船山文科大學，1926年改為船山中學等。
尋訪船山書院，需要乘船上東洲島，幾株百年古樟首映眼簾，一條彎彎曲曲的古石板路沿著圍墻在幾株古樟之間蜿蜒而上，探探尋尋地向小島深處延伸。從幾近傾塌的大門進去，除了幾垛青磚墻壁尚稱得上完好外，門窗、樓板、屋頂和頂棚都已七零八落。眼前荒敗之景與當年彭玉麟所提“一瓢草堂遙，愿諸君景仰先型，對門外岳峻湘清，想見高深氣象；三篙桃浪渡，就此地宏開講舍，看眼前鳶飛魚躍，無非活潑天機”聯(lián)語中充盈的活潑生機已是相去甚遠了。木質(zhì)的大門和窗欞斑駁粼粼，刻滿了時光的印記。大院內(nèi)還有一株被島上居民供奉的五指神樟，據(jù)說已有1000多歲。有人說是樟樹成精，五根挺拔的樹干是王介之、王船山、彭玉麟、夏明翰、楊度等五人的化身，雖是傳說，又有些牽強附會，可由此也可看出這些人在衡陽歷史上的重要影響，后人對他們的景仰與懷念。
船山書院的影響遠遠不僅于此，從船山書院也曾經(jīng)走出了夏明翰等共產(chǎn)主義先驅(qū)，中共創(chuàng)始人之一的何叔衡也是王船山的推崇者，毛澤東在老師楊昌濟和何叔衡的影響下，也看重船山學說。1921年，毛澤東在何叔衡的支持下，利用船山學社和學社經(jīng)費，創(chuàng)辦湖南自修大學，培養(yǎng)一大批革命人才。成為領(lǐng)導全中國各族人民推翻“三座大山”的革命中堅。新中國成立后的第二年，毛澤東親筆書寫“船山學社”匾額，1956年，船山學社重修竣工，毛澤東又再次書寫“船山學社”4個大字，以紀念這位偉大的思想家。