他的敬業精神給學生們留下了深刻印象：“黃席棠教授講課充滿激情，幽默風趣，講到某一現象像跳芭蕾舞時，他就比劃著在台上轉了一圈。”
1963年的一天，席棠拿著兩本書，指著封二上的一張照片問他的小女兒：“你看，這照片上的人像誰？”女兒說不出來。他就說：“像我。”然後告訴女兒：“這是你爺爺黃遠生。這兩本書是再版的《遠生遺著》。”接著又講了一些黃遠生的事。女兒這才知道家裏還有這麼一位了不起且不肯屈就的先輩。
然而，好景不長。1966年文化大革命開始，席棠被打成“反動學術權威”，被抄家，被趕出原來的住房，搬到一個破棚子裏。又被下放勞動，拉板車、挑大糞、種田、放羊。盡管受盡磨難，卻依然樂觀向上，常騎在牛背上與同伴開玩笑，苦中取樂。
家中藏書當破爛賣掉，他心裏好難過
他家最大的一筆財富就是藏書。業務書、文藝書及各種雜誌，書架放不下，就堆在壁櫥裏。孩子們鑽到又矮又窄的壁櫥上蜷著身子博覽群書，從小受到文化知識的熏陶。他的小女兒高上達至今還記得，那些書中所講的事使她幼小的心靈感受到外麵的世界好精彩，印象較深的書與雜誌有《知識就是力量》、《絞刑架下的報告》、《苦菜花》、《林海雪原》、《三千裏江山》、《舞台生活四十年》等。《舞台生活四十年》是她父親十分喜歡的一本書。他喜歡唱京戲，尤其喜歡梅蘭芳。他常常跟唱片學唱。盡管在孩子們聽來，與唱片裏唱的不一樣，但他自己總是自哼自樂，顯得很投入。
席棠懂幾門外語，喜歡閱讀外文書籍。在全國上下學毛選的日子裏，他看的是外文版毛澤東選集。他每次從地處郊區的福州大學進城去溫泉澡堂洗澡，總要到外文書店去買書。營業員都認識他，見他來了，常賣給他一本，再送一本。
然而，文革中被趕來趕去地搬家，又受批判，他不得不把大部分書當破爛賣掉，一斤書值三四分錢，那麼多書總共賣得40多元。當廢品公司開來一輛卡車把書拉走的時候，他心裏好難過，而收購的人說：“這些書都是毒草。”有些業務書他舍不得賣，說以後還用得著，想著有朝一日能重返教學崗位。無奈當時的形勢讓他妻子高懷蓉覺得這完全是不可能的了。最後隻留下一些生活必需的家具由席棠拉著板車搬來搬去。
曆經坎坷，壯誌未酬
他熱愛事業，熱愛生活，是一個很開朗很隨和的人。兩個女兒小時候要改姓母親的姓，他一點意見都沒有，認為名字就是一個符號。他抱著小兒子去報戶口，到了派出所把孩子的名字忘了，也不回家問，就用孩子的小名“小弟”報上了戶口。過年的時候，有一種放在地上的焰火，他會在焰火噴出來時從上麵跳過去。
他對科學情有獨鍾，見大女兒高上凱聰明好學，就覺得女兒與生俱來是搞科學的人，叫她不要結婚，與科學結婚。這當然是戲言了。而遺憾的是他沒有看到女兒後來成為清華大學教授、博導的那一天。女兒上達考初中時，老師動員她考福州最好的中學福州一中，他卻建議她去考福州大學旁邊的一所都是周圍農村孩子就讀的很小的中學，說是這樣可以讓她多跟農民的孩子接觸接觸。
他生性直爽，一向愛開玩笑，在學校搞衛生時，他詼諧地說：“我是全世界工資最高的清道夫。”他的學生遍布各地，他講過的笑話也被學生們傳到各地。但是他在學術上極為嚴謹，毫不含糊。文革期間造反派搞惡作劇考教授，考他物理。他第一個做完，興衝衝交了卷，覺得學術的東西不能作假，物理考試難不倒他。殊不知造反派在捉弄人，給他打了20幾分。氣得他回家要尋死，一個勁地說：“怎麼能這樣？怎麼能這樣？”
到了1972年，上麵指示“解放”走資派和牛鬼蛇神。聽說他也快“解放”了，一高興又對一起散步的人談起外語來：那樹上的鳥，英文叫什麼，德文叫什麼，法文叫什麼，俄文叫什麼。沒想到就因為這，他又被審查、寫檢討而不得解放。拖了一段時間才把他安排到福州大學外語教研組工作。由於不能繼續從事自己的物理專業，心裏不是個滋味。
下放勞動6年，身心受到雙重壓力，健康狀況隨之下降。恢複工作不久，即查出患了高血壓、動脈硬化、心髒病。1972年5月妻子高懷蓉教授帶學生去上海實習，他一同前往上海看病。由於文革他已多年沒去過他眷戀的第二故鄉上海，這次能去，並與兒子兒媳團聚，自然很高興。但因病情已重，到上海不久，因腦溢血於6月逝世。
歲月流逝。如今他的兒女們感慨地說：父親壯誌未酬，過早去世而沒有享到改革開放後的福，實在是令人惋惜。如果他能活到今天，看到太平盛世，一定會非常高興。