卫青是怎么来的我们前边说了。卫青小时候是跟着他的母亲在平阳侯家里度过的，应该说卫青的童年还是比较幸福的，在平阳侯家里吃饱穿暖还是没问题的，但是后来，不知道什么原因，也许是卫妈妈孩子太多了，养不起了，把卫青送到他父亲那边去了，当然就是平阳县了，在今天山西临汾一代。我们知道卫青的父亲叫郑季，是平阳县的公务员。郑季是有自己家室的，所以卫青(郑青)在郑季家里不怎么受待见，没地位，私生子嘛，和外头女人生的野种什么什么的，跟孔夫子一样。郑季的其他孩子，也就是卫青的兄弟姐妹们，不把他当兄弟看，而是当仆人，当家奴看，让卫青去放羊。卫青没有一点意见，放羊就放羊，羊放得很好。
后来卫青碰到个人，会相面，相面的人说，小子啊，你生了一张富贵相，将来会拜官封侯。卫青哈哈一笑，说我这种出身的人，人家不嫌我干活懒，不用鞭子抽我我就很知足了，拜官封侯太远啦。
这个不是卫青谦虚，他当时那么个身份谦虚给谁看，卫青就是这么想的，就这么个性格，不奢求，人家让干什么就干什么，而且肯定干得很好。卫青日后能位极人臣，创百世之伟业，很大程度上要得益于这种性格。
卫青长大成人后，又回到平阳侯府，估计还是母亲的关系。卫青长得五官端正，身材高大，天生力气也大，而且骑术非常好，由此做了平阳侯府的家骑。就是平阳公主要出门，骑着马在她身边的那些人，仪仗队兼保镖。地位算是有了一点，但是基本还是等于零。卫青还是依旧认真做这份工作。生活肯定好了很多，至少她母亲这边的兄弟姐妹很多，彼此互相照应，一家人热热闹闹很和睦。
后来卫子夫进了宫，这个前文讲过了，卫青跟着沾光，被调到建章宫做事，建章宫是皇帝的宫殿（这里有点问题，后面解释），卫青这算升了一级，勤恳依旧。公孙敖也是这里边的人之一，和卫青关系很好。
再后来便是卫子夫为刘彻生了一个女儿，这对刘彻来讲是天大的喜事，这是他第一个孩子，卫子夫所受的关照自然非比从前。这事肯定让正室皇后阿娇不满，阿娇那么个人，醋坛子事篓子，哪能受得了这个，跟刘彻闹，刘彻不理他。阿娇只好跑到母亲那里去告状，母亲当然是馆陶大长公主了，现在都叫太主了。馆陶公主要给阿娇出头，但是有刘彻在那里，她不敢对卫子夫怎么样，便对卫青下手。
馆陶公主派人把卫青抓了起来，要杀掉。公孙敖很仗义很够兄弟，不顾自己性命，找了几个人去劫狱救卫青，成功了。这个事情恐怕是闹大了，敢在她馆陶公主头上动土的没几个人。但是非常幸运地被刘彻得知了，我们可以推测是平阳公主或者卫子夫告诉的刘彻。刘彻立即出面，把这事压下去了。并且把卫青晋升为建章监，算是建章宫的总管，而且加了一条，侍中，就是陪在黄帝身边。这个时候刘彻是不怎么了解卫青的，他无非就是故意做给阿娇和馆陶公主看，打压她们娘俩---说实话，她们娘儿俩确实该打压打压，一个比一个不像话。但是卫青得以陪王伴驾，这让刘彻加深了对他的印象。这个人虽然年轻，但是为人处事非常稳重，而且头脑清醒，这两条能凑一块很不容易的。于是刘彻对卫青多了几分注意，一方面这是卫子夫的弟弟，他的小舅子；另一方面更重要的，这是个人才，有没有前途不好说，至少值得他培养。
（建章宫问题：建章宫这个时候还不存在，要在十几年后才开始修。至于为什么这个时候出现了这么个名字，可能建章宫本来是小宫殿，行辕一类的地方，后来是扩建。或者这个时候建章跟建章宫还没什么联系，建章只是某种称呼。当然了，这个无关紧要。）