高岡寨，又名高岡廟、中山公園，古稱高岡堡。原是6米高的土墩，后筑樓寨，總面積為12492.5平方米。乾隆7年壬戌歲（1742年）始由長江劉氏十三世孫楚白慷捐千金鑿石筑堡，一門獨入，峭壁陡絕，倡成一方保障。寨內分三級，寨頂平坦，第二重古寨門名為“維賢坊”。砌石圍時，于外層建一石門，石門厚2米、寬1.4米、高2.9米，石圍周長369.25米、高4.7米、墻寬1米，均以花崗巖條石砌成，題詞為“錦江屏翰”。
寨上原有高岡廟一座，種有樟樹百余株。原高岡寨上，廟宇高大寬敞、建筑雄偉。中有天井，全為熟磚結構。上廳設神壇，身穿黃龍袍的“高岡福主”坐鎮(zhèn)其中，神壇上面有一木橫匾，楷書浮雕“四國侯王”四字。左右兩邊各有小菩薩一尊。廟的四周有樓櫓二百余間。該廟常設廟祝一人管理香火。每逢農歷“六月六”，各方香客，云集長江，敲鑼打鼓舞獅舞龍，恭迎“福主”，有時還演戲酬神，以祈風調雨順，人壽年豐。
民國十九年（1930年），廣東省獨立旅三營進駐長江時，開辟為“中山公園”。在原石門上改成山字形門樓，橫作“中山公園”四個大字。同時園內建有中山公園紀念碑一座和直徑4米園形水池一口，此外還有花壇、花崗巖條石凳等設施。1931年2月7日，紅軍經過長江曾夜宿高崗廟。抗日期間，寨上建有“抗日陣亡將士紀念碑”一座。寨內四周樓櫓等大多數(shù)建筑設施，已先后拆毀。
1954年，政府為了便于紀念在解放戰(zhàn)爭和建國初剿匪中犧牲的烈士，將在長江范圍內的24位烈士遺骨集中葬在寨內（有墓碑），并在1967年5月建立“革命烈士紀念碑”一座，它象征革命烈士與世長存，永遠值得人們敬仰。1956年秋初辦長江中學時，其課室初設高岡廟，1958年中學才外遷。1964年廟宇拆除。
1999年，高崗寨中一顆圍徑6.8米、4人合抱的苦楝王吸引了美國哈佛大學博士、法國遠東學院研究員勞格文和省綠化委員會宋副主任等人，都稱從未見過如此巨大的苦楝樹。2001年，原粵贛湘邊縱隊第二支隊副司令員兼主力團團長葉昌骨灰，遵其遺囑葬在高崗寨，并種下兩棵樟樹以示紀念。
現(xiàn)高岡寨有古樟樹、苦楝樹、烏桕樹幾十棵，四季成蔭，空氣新鮮，環(huán)境幽雅，俯瞰長江，一覽無遺。