“小將”們審度半晌，無從發揮他們的想象力，實在找不到可以上綱的地方，隻抱去了一堆古書了事。後來，“軍管會”掌了權，新的當權者們又把房子裏外察看一遍。大概想占用一下“部長公寓”吧？可是這樣的地方誰瞧得起！所以高揚一家始終沒有被“掃地出門”。他是屬於那種不貪汙、不腐化、不多吃多占的“清清白白的走資派”。這稱號雖然也在“綱”上，但鬥起來總不大提精神。
比來比去，倒是當初揭竿而起指控高揚的那位領導幹部，更象“修正主義”，於是七弄八弄，把他“運動”進了監獄。這當然也是不對的，其中的教訓卻不可不察。
接受批鬥、散步、讀書，三大實踐。可是，越讀書越叫人坐不住。蒼涼心緒有肘讓人懶步閑街，耿耿不平又使人忍不住疾走如飛。那時候，他早晨很早就起來走步，最遠的從和平裏走到農展館，往返兩個半鍾頭，約二十華裏。胸中激憤，可見一斑。
革命生涯中，常有做自我鑒定的時候，他在“愛好”、“特長”之類欄下要麼不填，要填便是“喜歡讀書”，他覺得此外便沒有“特長”了。他是有了革命理論的準備之後才投身於革命行列的。大學圖書館裏英文版的介紹歐洲各種“社會主義”流派的小冊子和進步文學作品，引起了青年高揚熱烈的向往和追求。有幾座活的“紀念碑”可資稽_考，這就是他的幾個孩子的名字。
他的大女兒名叫“娜娜”，大兒子叫“白拜爾”，三二兒子叫“白惠爾”，小女兒叫“麗達”。“文革”中這也是高揚一條罪狀，叫“崇洋媚外”，卻誰也說不清崇的是什麼“洋”，什麼“外”。
大女兒生於一九三〇年，那時高揚正讀大學一年級。
他事先起了一男一女兩個名字留給妻子。“娜娜”是南斯拉夫克魯地亞作家雅爾斯基的一篇小說裏的人物，一位率領農民起義的農村姑娘。“白拜爾”則是德國社會民主工黨領袖倍倍爾的諧音。“白惠爾”是高爾基《母親》中的人物，“麗達”是伏契克《絞刑架下的報告》裏，那個活潑、堅強的唯一活著出去的姑娘。共產黨人不是“循名學”家，但它至少證明那些書籍和人物，在一個熱血青年的心裏留下了怎樣的印跡。要知道，那是在白色恐怖的環境裏廠這與“文革”期間起的“學青”“衛彪”之類不可同日而語。
“一二九”運動後，高揚作為東北流亡學生裏的一名中共黨員，曆經輾轉，由北京而西安而太原，之後上了太行山。上山時他還背著…套英文版的《資本論》（袖珍本）呢。那是一位留學歐洲的同學送給他的。在山裏，開始沒有馬，每天步行百十裏，出入於東北軍殘部、紅槍會和窮苦農民中間，睡長工屋，吃“糠炒麵”，朝不保夕，再背著這本磚頭厚的《資本論》，未免迂腐，他忍痛扔掉了。
扔掉了，不是不想讀。稍有條件，他又讀起來。一九七〇年一個大雪迷天的寒夜，他在幹校的草棚裏讀完了《資本論》第三卷，曾隨筆以詩寄懷。此詩原有小序，一九七六年因懼文禍，手稿已焚毀。據其子女回憶，猶記大意是：
一九五〇年予主政遼東，大軍過江，安東被炸，工廠搬遷，家屬疏散，夜間讀《資本論》至第三卷之半而罷。二十年草草。今下放河南幹校，勞動之暇，重讀是書，竟盡三卷。適大雪迷天，春雷忽動，乃中州之奇景，非平生所經曆。夜闌夢回，繁花滿眼，感事傷懷，成詩四句。時一九七〇年二月某日也。
一部《資本論》，伴隨他北戰南征、榮辱沉浮四十年。他曾對孩子們說：以前工作忙，沒有時間坐下來好好讀書，這十年讀著書，想了許多問題，得益匪淺……人的精力是否可以用“水庫”蓄積起來，留待日後使用，有待醫學、人類學家考察；但這十年高揚確實積蓄了一些什麼，使他複出之後，猶如江河出峽，浩浩蕩蕩，一瀉千裏不止。