黃義德的祖父黃信陽當時就是滿清漢軍當中的一個小兵，後來立了一些戰功，當了一個小軍官，當時就駐守在嘉興府附近。後來滿清迅速征服了明朝南方地區，南明滅亡了，滿清政府也徹底洗脫了自己侵略者的身份，成為了中原正統。
由於戰亂連連，加上又是改朝換代的時候，在清初的時候地方官的任命還沒有以後那麼嚴格。黃義德的祖父後來就從軍隊的一個小官被任命為嘉興府下麵的一個縣令，一當就是八年，而他們這一脈也就由此在嘉興府地方上繁衍生息了開來。
現在他們黃家一共分成四房，黃義德這一家算是二房一脈。主家大房這一脈現在由大伯黃仁發當家做主，由於他是黃家長子，所以黃義德的祖父給了他一百多畝田地。加上後來大伯在蘇州做過十幾年的地方官，長房這一脈的田產迅速增加到了四百多畝，儼然已經是一個殷實的士紳家庭。
二房就是黃義德的父親黃仁財這一脈，還有就是黃義德的三叔黃仁致和四叔黃仁富。說起黃家的名字其實還有有點意思的。黃義德的祖父黃信陽是山東東平人，祖先據說也是耕讀傳家的士紳家庭。由於戰亂的緣故，祖父不得不過上了十幾年顛簸流離、朝不保夕的生活，直到後來這生活才有了好轉。要知道在以前，他們黃家在山東東平一代已經傳承了好幾百年，擁有深厚的家族傳承。他們黃家的男丁在取名字的時候一般按照“仁義禮智信”排輩分，黃義德的大伯、父親和兩個叔叔是仁字輩，而他是義字輩。
“仁義禮智信”是儒家五常，當時不少士紳家庭都用這個給子孫作為名字的輩分。當時黃義德的祖父除了按輩分排之外，給自己四個兒子取得名字加起來正好就是發財致富這四個字，可見他老人家對恢複祖業、重新崛起的念頭還是很強烈的。
黃義德的三叔黃仁政和四叔黃仁富兩個人既沒有當官，也沒有考取功名。兩個人專心侍弄著祖父傳給他們的那份家業，現在日子過的也算殷實。要知道當時祖父在死之前，分給二房、三房、四房每家五十畝上好的水田，雖然沒有大伯多，但也算是一份很殷實的家當了。黃義德的老爹黃秀才當年考學將近二十年，自從二十七歲考中秀才之後，幾次考舉都沒有中。二十年的考學生涯花掉了幾百兩銀子，而黃秀才又不善於經營，隻能變賣家業，所以到了最後隻剩下十幾畝水田了。結果一場大病之後，二房這一脈就連這最後的十幾畝水田都沒有保住。
平日裏黃義德家與三叔黃仁政的關係比較好，所以這段時間也多虧他的接濟。目前擺在黃義德麵前的問題很現實，無非生計二字！