僅僅擔任地方官職，並不能使這個家族具有最為耀眼的光環。使班氏與當時社會的頂層聯係起來的是一位女性，這就是班況的女兒。這位姑娘於成帝初年被選入宮，成為婕妤，故史稱“班婕妤”。遺憾的是，這位於青史留下隱忍和遺憾的班婕妤卻連名字和生卒年月都沒有留下。
公元32年，正是東漢光武帝建武八年，此時正值中原動亂，民不聊生，而在這一片紛擾喧囂的土地外，處於中國西北部的河西一帶卻是相對比較安寧的地區。該地不僅物產豐富，而且與羌族胡人的邊境貿易也十分興盛。古代尚不發達的集市交易通例為一日三合（即交易三次），當地卻已經達到了一日四合，這無形中使得商品的交易量大大增加。當時，隻要在這個地方稍微有點經營意識的人不用幾個月就會發家致富。其中，姑臧這個城市尤為富饒。漢代的姑臧城是個漢、羌、匈奴各族雜居的地區，各種不同文化的交融碰撞，南北貨物的交易彙通，大大刺激了這裏生產的發展，人民的日子也由於遠離戰亂顯得格外富有而且安寧。
由於這裏比較富庶，西漢末年來此地躲避戰爭的人相當多。在這群避難的人群當中，扶風安陵的班彪一家屬於比較後來的。他們最開始在隗囂的地盤上居住，後來才遷到更為西邊的河西一帶。來的時間雖然不長，年僅29歲的班彪卻成了河西大將軍竇融的從事，盡管幹的隻是主管文書、察舉非法等一些瑣碎事務，也能日日陪伴在當時河西最高統治者竇融的身邊，足見竇融對其信賴器重。這種投合知遇，使得班彪避居河西的日子多了幾分順心愜意，但更多的還是不安與焦慮。
班彪之所以能夠得到竇融的重用，與其家族曾經的顯赫與榮耀有著密切關係。而這種顯赫榮耀隨著接連的戰亂與遷徙流離已經慢慢消逝了。如果不是竇融的收留任用，班彪手裏的積蓄已經難以維持相對體麵的生活，而他婚後一直沒有子嗣也是家族沒落的潛在威脅。盡管膝下已有一女，在出身名門望族的夫人教育下也聰明伶俐，但是家族的興旺發達與男性的文治武功是緊密聯係的。就算是家族裏的女兒能夠得到君王寵幸，有幾個兄弟作為她在外朝的依靠方能達到滿門昌盛，當年班彪的姑母班婕妤就是個典型例子。
也就是在這一年，妻子樊氏居然一年之間順利地為班彪誕下兩名男嬰。這兩名男嬰生下來就天庭飽滿，地閣方圓，哭聲洪亮，器宇不凡，唯一差別的地方就是哥哥顯得沉穩安靜，而弟弟格外活潑好動，這一切都為班彪避居河西的日子增添了幾分希望與喜悅。班彪為哥哥取名為固，希望其意誌堅定，鞏固發揚先祖的優良傳統。為另外一個男孩取名為超，希望其能夠超絕凡俗，同先祖一樣成就豐功偉績。而這兩個男孩長大成人之後，果然不負他的期望，一文一武，成就了非同凡響的豐功偉績。
班彪之所以對家族沒落懷有深刻的憂慮，與其家族悠遠綿延的家族傳統有關。若要論起班氏家族，那可是曆史相當的輝煌久遠，最初可以上溯至春秋戰國時期的楚國王族，而姓名最早可考者是貴族若敖。若敖娶了鄖國的女子，生了個兒子叫做鬥伯比。若敖去世之後，鬥伯比跟隨母親回到了娘家居住。鬥伯比當時正當青春年少之時，和鄖子的女兒私通並生下了一名男嬰。為了掩蓋這樁醜聞，鄖子的夫人派人將男嬰丟棄在雲夢澤。雲夢澤是個野獸出沒、豺狼橫行、人跡罕至的地方，但是非常奇怪的是，不僅沒有野獸傷害男嬰，而且還有老虎主動給他喂乳汁並使共存活了下來。有一天，鄖子外出打獵看到了這種情景，非常吃驚害怕。他把這件事告訴了夫人，夫人不得已說出了孩子的身世。鄖子見這個孩子如此不同凡響，料定日後定將有一番造化，於是命令夫人將其接回來好好撫養，並且讓女兒與鬥伯比正式結為夫婦。楚國人稱“乳”為“穀”，稱“虎”為“於菟”，所以將這位由老虎哺育過的孩子取名為穀於菟。