楚國西與秦國毗鄰，雖屢遭侵割，國勢日衰，但至戰國末年，楚國仍然占據江淮一帶的廣闊地區，成為秦統一天下的最大障礙。於是，秦攻取趙國都城邯鄲（今屬河北）後，將注意力大部分都集中到了楚國。秦王贏政二十四年（前223）攻破楚都壽春（今安徽壽縣）活捉了楚王負芻，楚國正式滅亡。就在楚國滅亡之後，可能是為了躲避亡國之後的屈辱，班氏這一支後人輾轉流徒到了北方晉、代之間。
秦朝末年，天下大亂，班彪的六世祖班壹為躲避中原戰亂率領全家移居到了樓煩（今山西雁門一帶）。他善於經營，北方邊地畜牧業利潤頗為豐厚，他便精心飼養這些大牲畜，經過長期努力經營，他所擁有的馬、牛、羊等一度達到了好幾千的數目。當時整個社會的經濟相當凋敝，因為正值楚漢戰亂，社會生產遭到了嚴重破壞，農民大量流亡，賣妻鬻子，城市人口也大大減少。麵對這種殘破局麵，漢高祖劉邦不得不把恢複農業生產、穩定封建秩序作為首要任務，采取了“無為而治”的政策，一切工商業聽任其自由發展。在這種政策下，班壹的畜牧業更是如虎添翼，得到了更為迅猛的發展。在孝惠、高後時代，班壹已經成為北方邊境首屈一指的大豪強地主。
有了雄厚的財力作為基礎，班壹的兒子班孺在北方邊境成為遠近知名的任俠，他豪爽大方、慷慨仗義、扶危濟困，其名聲甚至蓋過了他的父親。而成為一名任俠必須具備仁、義、誠信、謙讓等美德，這其實並不容易。正因為如此，這往往也是後世俠客所代代遵循的道德規範和行為準則。任俠盡管沒有明確的政治地位，但是在關鍵時刻往往是一呼百應，連官府所不能達到的勢力範圍往往都在其掌握之中，實為社會上隱形的巨大勢力。班孺這種任俠精神與風貌，誠然與其家族長期在民風剽悍的北方邊境定居有關，同時與其家族所固有的誌節慷慨之傳統也有著緊密的關係，後來班固弟弟班超有立功絕域的豪情壯誌，正是與此一脈相承。
到了班孺之子班長的時代，班長官至上穀守，遂成為班家最早登上西漢仕途之人，這標誌著班氏逐漸由富而貴。班長之子班回被舉為本郡茂才，授長子（今陝西省東南部，上黨盆地西側）縣令。西漢時期，守令盡管隻是地方官員，但是大縣守令往往與中央高級官員級別相同，這足見班家在地方的政治勢力與影響。到了班回之子班況這一代，班況先是由薦舉孝廉，被朝廷授為郎官，後來由於功勞突出，升至上河農都尉。當時，一地的農都尉職掌農業生產，秩比二千石。在朝廷對地方官的考核中，班況連年名列前茅，得以進入中央任左曹越騎校尉。校尉是武帝時所置的軍職，略次於將軍。從班況起，班氏家族逐漸進入了西漢的中央政權並開啟了軍功上的淵源。