黃家墻門，即黃徵義住宅，位于余姚城內管家弄100號。黃徵義為著名思想家黃宗羲第五世孫，字仲治，號平敝。從小聰穎過人，乾隆五十四年(1789)中舉人，嘉慶二十四年(1819)中進士，曾任從化知縣，任滿以病重告歸，杜門不預外事。晚號鶴石山人，著有《鶴石山房詩稿》。
黃徵義舊宅坐北朝南，沿縱軸線自南至北依次為門廳、正廳、后樓、后罩屋，通面闊均為19.55米，各分五間。門廳為樓房，通進深5.50米，穿斗式梁架結構，用五檁、三柱；正廳通進深9.75米，明間梁架結構為抬梁式，用八檁、五柱，山墻呈馬鞍形，明、次間前后有廊，前廊為船棚形頂、軒梁、平梁及雀替，均雕刻精細；正廳前的庭院深5.80米，緊靠正廳明間后有座門樓，深0.95米，連石框通面闊4.20米，高達5米，磚石結構，檐下有磚雕、斗拱，門樓兩翼圍墻向東延伸，與后樓兩側廂屋南山墻連接；正廳后庭院深5.25米，東西兩側有單披廂屋各兩間；后樓通進深12.40米，系穿斗式梁架結構，用九檁、七柱，前有廊，通達五間，廊下挑尖梁做成月梁狀，屋頂為重檐硬山；后罩屋通進深8.10米。全宅通進深56.70米，庭院深深。庭院和室內均用石板錯縫平鋪，并有2.65米的通道。
整座建筑用材較粗壯，梁、枋、門窗裝飾也較精致。舊宅基本結構尚完整，但門窗改裝較多，庭院內亦搭建有小屋，顯得較為擁塞。
1997年3月19日，黃家墻門由余姚市人民政府公布為市級文保單位。