阿母和師母連遭變故，身體已經大不如前，現在家中嫂嫂雁旋是當家人，她的話班超不敢不聽。但他們都清楚，不到萬不得已，阿母絕不會同意離開安陵。
這段時間，被饑餓和熱浪折磨得了無生氣的安陵邑也有點反常，街頭和各村寨間，頻頻出現著便裝的雍營士卒與羌人閑蕩的身影，班超、班秉、班騶三人已經嗅出不安味道，他自然比嫂嫂雁旋焦心的地方更多。
嫂嫂走後，班超沒有動員阿母、師父、師母舉家遷雒陽。阿翁班彪葬在班氏祖塋，阿母舍不得離開故地。抱著鐧返回班府，在接下來時間內，班超一直懸著心，隻到班秉、班騶從雒陽平安歸來，他才長長地籲了一口氣。
從七月中旬開始，司隸校尉牟融大人已經命三輔各郡縣傾力賑災，漢明帝則在詔書中明令三輔眾官，“不得餓死一人！”各郡縣聞風而動，隗裏令古春也按帝令，在各鄉、各裏弄開了粥棚，早晚兩次排隊分粥於饑民。
但此時的三輔，田地幹裂，饑民遍野。班府雖然饑餓，還有班昭的夫家曹家、隔壁馮家相助，也比普通黔首、流民好多了。榆錢、榆皮、草根、葦根等一切都食的，已經被餓民吃光。剩下的唯一的救命之所，便是朝廷賑災的粥棚。可班家人清高，從不涉足。他們寧可忍著，也不會去與饑民爭食。
其實，雖然是大旱之年，但作為東漢竇氏河西豪強集團的重要一分子，班氏家族的貧困與當時社會中下層人民的絕對貧困，還是有本質區別的。漢代戶等劃分，大致為“細民”或“小家”、“中家”與“大家”三個等級。小家家貲三萬錢以下，中家四萬至十萬錢，而有家貲十萬以上，則為大家或大戶。
按照當時三輔地區訾算（注：即官府計算民每戶財產為劃分戶等級、製定政策基礎）的物價標準，班家有老宅一區約值萬錢，薄田四頃約值二萬，良馬三匹約值三萬，牛車二兩套值四千，輜車二乘約值萬錢，役牛四頭約值一萬二千錢。當時大婢一人值二萬，小奴一人直一萬五，而班家有婢和小廝七八人，除金杏、芙蓉外，包括班超的侍婢慕容越在內，均為徒附子女，不能訾算在內。
即便如此，金杏、芙蓉二人按當時的官價也約值四萬錢，破落世族班家訾算出的家財也超過十萬錢，按照戶等應該為“大戶”了，屬於“有貲”者。其實不然，東漢年間到了建武末年和永平年初，由於休養生息數十年，百廢俱興，國力漸強，尤其是土地兼並愈演愈烈，三輔地區豪強世族林立，家貲十萬錢已經淪為小戶。一般的大戶動輒坐擁數百萬、上千萬錢，真正的世族大戶則往往家貲過億，富可敵國。
如安陵著名世族伏波將軍馬援一族，是建武中興後漢帝國最大的商賈，曾門人賓客數百，膏田近千頃，牛馬駝數千，徒附、仆婢無數，家貲無可計量。
班氏一門人傑，之所以淪落為小戶，與當年家主班彪定下的家規有關。
班彪早年進入雒陽後便立下家規，即“不慕榮辱，以史傳家”，且將其作為自保之道。班彪自進入雒陽開始，班氏一心著史，不與豪強糾纏過深，不接受豪強的惠贈，與南陽集團、隴右集團都保持著良好的關係。在京城賦閑時間，班彪寧可拖著病弱的身子開堂授徒講學，也不趟宮廷爭鬥的這窩渾水。
東漢初期很多後世知名的大儒，都曾是班彪的學生。如大學問家、大思想家王允，就曾經跟著班彪習古文經學整整五年，後其文章流傳後世。班彪的家規雖然迂腐可笑，但卻是書生自保的長遠之策，在東漢初年士家大族兼並整合的潮流中，很好地保護了班府讀書人的形象，也保護了家族的安寧。