潕溪書院始建于明正德年間（1506—1521年），原名沅溪書院，由苗族教育家吳鶴創(chuàng)建。吳鶴是明代苗族儒士、教育家，湖南吉首（鎮(zhèn)溪）人。曾隨大思想家王陽明游學(xué)江西，為其著名弟子。耿直不阿，不樂仕途，拒官不就，堅(jiān)持在鄉(xiāng)里設(shè)館辦學(xué)，為唐宋以來苗族第一代漢文化知識分子。后人為其建祠立碑，開設(shè)沅溪書院以為紀(jì)念。
清乾隆三年（1738年），乾州廳同知王瑋在書院內(nèi)設(shè)立義學(xué)，聘請常德龍陽舉人龍升明講學(xué)，高朋滿座，人才濟(jì)濟(jì)，盛況空前。乾隆三十八年（1773年）書院改建。乾隆六十年（1795年）苗民起義，書院被毀。光緒年間，在外做官的徐鳳翔為給家鄉(xiāng)子弟營造讀書環(huán)境，募集股金籌建書院，其中一股作為“文昌會”經(jīng)費(fèi)，仿照長沙岳麓書院規(guī)模建造書院，光緒十八年（1892年）落成。戊戌變法后，廢書院設(shè)學(xué)堂，1936年，國民政府在此創(chuàng)辦“湘西特區(qū)師資訓(xùn)練所”，成為公立學(xué)校。此后一直為師范學(xué)校所在地，原有書院建筑得以保存。“文革”期間，部分建筑遭到破壞。20世紀(jì)80年代，潕溪書院被列為湖南省重點(diǎn)文物保護(hù)單位，對建筑進(jìn)行了維修。1999年，全校師生集資重建已經(jīng)被毀的文昌閣，書院原貌得以基本恢復(fù)。
書院嚴(yán)謹(jǐn)?shù)慕ㄖ后w，是社會群體意識的表現(xiàn)，反映了“禮樂相成”的思想。一般而言，每所書院都有包括講堂、齋舍、書樓、祠堂的建筑群，體現(xiàn)書院講學(xué)、藏書、供祀的“三大事業(yè)”。潕溪書院建筑群力求中軸對稱的理想布局，以居中為尊；通過軸線層次序列，以別尊卑、上下、主次、內(nèi)外，達(dá)到由序達(dá)敬的目的；又通過不同特點(diǎn)的庭院天井的空間組合，達(dá)到以和至親的目的；以此形成一個序中有和、和中有序、和序統(tǒng)一的整體。建筑布局分為前院，主院和后院。前有大門、前廳，前廳之后是前院，庭院比較寬敞，院中綠樹成蔭。進(jìn)入主院內(nèi)是講堂、藏書樓等教學(xué)建筑，左邊有魁星閣。后庭院內(nèi)主要是為祭祀而設(shè)的建筑文昌閣和大成殿，分奉文昌帝君和先師孔子牌位，每年祭祀。后部庭院左右兩邊分別為教師宿舍和學(xué)生宿舍，最后一進(jìn)為后門。