仅仅担任地方官职，并不能使这个家族具有最为耀眼的光环。使班氏与当时社会的顶层联系起来的是一位女性，这就是班况的女儿。这位姑娘于成帝初年被选入宫，成为婕妤，故史称“班婕妤”。遗憾的是，这位于青史留下隐忍和遗憾的班婕妤却连名字和生卒年月都没有留下。
公元32年，正是东汉光武帝建武八年，此时正值中原动乱，民不聊生，而在这一片纷扰喧嚣的土地外，处于中国西北部的河西一带却是相对比较安宁的地区。该地不仅物产丰富，而且与羌族胡人的边境贸易也十分兴盛。古代尚不发达的集市交易通例为一日三合（即交易三次），当地却已经达到了一日四合，这无形中使得商品的交易量大大增加。当时，只要在这个地方稍微有点经营意识的人不用几个月就会发家致富。其中，姑臧这个城市尤为富饶。汉代的姑臧城是个汉、羌、匈奴各族杂居的地区，各种不同文化的交融碰撞，南北货物的交易汇通，大大刺激了这里生产的发展，人民的日子也由于远离战乱显得格外富有而且安宁。
由于这里比较富庶，西汉末年来此地躲避战争的人相当多。在这群避难的人群当中，扶风安陵的班彪一家属于比较后来的。他们最开始在隗嚣的地盘上居住，后来才迁到更为西边的河西一带。来的时间虽然不长，年仅29岁的班彪却成了河西大将军窦融的从事，尽管干的只是主管文书、察举非法等一些琐碎事务，也能日日陪伴在当时河西最高统治者窦融的身边，足见窦融对其信赖器重。这种投合知遇，使得班彪避居河西的日子多了几分顺心惬意，但更多的还是不安与焦虑。
班彪之所以能够得到窦融的重用，与其家族曾经的显赫与荣耀有着密切关系。而这种显赫荣耀随着接连的战乱与迁徙流离已经慢慢消逝了。如果不是窦融的收留任用，班彪手里的积蓄已经难以维持相对体面的生活，而他婚后一直没有子嗣也是家族没落的潜在威胁。尽管膝下已有一女，在出身名门望族的夫人教育下也聪明伶俐，但是家族的兴旺发达与男性的文治武功是紧密联系的。就算是家族里的女儿能够得到君王宠幸，有几个兄弟作为她在外朝的依靠方能达到满门昌盛，当年班彪的姑母班婕妤就是个典型例子。
也就是在这一年，妻子樊氏居然一年之间顺利地为班彪诞下两名男婴。这两名男婴生下来就天庭饱满，地阁方圆，哭声洪亮，器宇不凡，唯一差别的地方就是哥哥显得沉稳安静，而弟弟格外活泼好动，这一切都为班彪避居河西的日子增添了几分希望与喜悦。班彪为哥哥取名为固，希望其意志坚定，巩固发扬先祖的优良传统。为另外一个男孩取名为超，希望其能够超绝凡俗，同先祖一样成就丰功伟绩。而这两个男孩长大成人之后，果然不负他的期望，一文一武，成就了非同凡响的丰功伟绩。
班彪之所以对家族没落怀有深刻的忧虑，与其家族悠远绵延的家族传统有关。若要论起班氏家族，那可是历史相当的辉煌久远，最初可以上溯至春秋战国时期的楚国王族，而姓名最早可考者是贵族若敖。若敖娶了郧国的女子，生了个儿子叫做斗伯比。若敖去世之后，斗伯比跟随母亲回到了娘家居住。斗伯比当时正当青春年少之时，和郧子的女儿私通并生下了一名男婴。为了掩盖这桩丑闻，郧子的夫人派人将男婴丢弃在云梦泽。云梦泽是个野兽出没、豺狼横行、人迹罕至的地方，但是非常奇怪的是，不仅没有野兽伤害男婴，而且还有老虎主动给他喂乳汁并使共存活了下来。有一天，郧子外出打猎看到了这种情景，非常吃惊害怕。他把这件事告诉了夫人，夫人不得已说出了孩子的身世。郧子见这个孩子如此不同凡响，料定日后定将有一番造化，于是命令夫人将其接回来好好抚养，并且让女儿与斗伯比正式结为夫妇。楚国人称“乳”为“穀”，称“虎”为“於菟”，所以将这位由老虎哺育过的孩子取名为穀於菟。
穀於菟长大后知书达理，聪明能干，具有很高的文化修养和良好的品德，故而字就叫做“子文”。子文长大后担任了楚目的令尹，相当于一国的宰相，在执政时取得了显著的政绩。为了楚国的强大，子文主动献出自家的私财来缓解国家的财政困难，而不惜自己面有饥色，妻子冻馁。他在政治上侵削诸大夫的封邑，交还给楚成王，以壮大楚国王室的财富和力量，强化楚成王的王权，这就是历史上著名的令尹子文毁家纾难的故事。远在鲁国的孔子都称赞子文的忠，可见子文当时是一位颇为知名的政治家。
子文生斗班，亦官至楚国令尹。斗班生克黄，官至箴尹，其品性也是非常优良。斗伯比的另一个儿子司马子良斗阂椒。在“一鸣惊人”的楚庄王执政时期，斗椒一度是楚国最为骁勇善战自制各军，曾指挥楚军击败过郑国。斗椒常埋怨楚庄王不升自己的官职，渐渐心怀不满，背地里谋划着如何造反夺权。他乘楚庄王率大军于周定王姬瑜二年（楚庄王九年，前605）出征陆浑戎时，找到族弟斗班商议谋反。斗班不肯参加这种大逆不道的事情，坚决反对并劝诫他。斗椒见斗班不从，怕他泄露自己的阴谋，便杀了斗班。率若敖氏之族杀了大司马，之后率领自己所能掌控的将卒埋伏在皋浒（今湖北襄樊西部），准备待楚庄王班师回国之时突袭他们。却被得胜而归的楚庄王就地赶尽杀绝。
在斗椒造反作乱并被处死的时候，他的侄子克黄刚好完成了出使齐国的任务，正在回国的路上。克黄走到半路，突然听说了这个消息，当下便有人劝说克黄不要回国，克黄正色说道：“违背了自己的君主，谁又能够接纳你呢？君主是臣子的天，天的掌控怎么能够逃掉呢？”他最终还是回到了楚国并主动向官府请罪。楚庄王大为感慨：“子文要是没有后人，怎么能够劝诫人们为国效忠呢？”不仅没有治克黄的罪，还亲自赐克黄的名字为“生”，意在重获新生，于是斗班的后裔子孙就干脆以先祖名字中的“班”为姓氏；世称“班氏”。而与这个姓氏相关的子文、斗班、克黄祖孙三代对国家尽职尽忠的精神也同时成为了班氏家族代代引以为豪的家族传统。但从此之后，班氏在楚国的政治地位再也没有达到令尹子文时期那样的显赫，渐渐游离于核心权力圈子的边缘。