其实卫青本不姓卫，本姓郑，后改的姓卫，乃是河东平阳人。卫青其实乃是卫子夫的母亲与别人私通才生下来的孩子，在生下来的时候还差点儿死于非命！
卫青的父亲郑季原本是平阳侯曹寿府里的一个小差役。在这其间，平阳侯的女仆卫媪因为死了丈夫，就与郑季私通，不久就生下了卫青，所以卫青小的时候又叫郑青。在刚生下来的时候，郑季害怕被人耻笑，就想把这个孩子扔掉，谁知道被接生的老媪给拦住了，老媪说道：“请听老妇一言，老妇接生过的孩子无数，可是从来都没有见到过一个像这个孩子一样的，像这孩子面目红润，声音圆爽，胞衣紫绿，也许将来有出息也未可知呀？”郑季听完之后，觉得有道理，就把这个孩子留了下来，。
又过了几年郑季离开了平阳侯府，回到了自己的老家，不过他走的时候也把小卫青也带上了。其实郑季的家里已经有一房妻室了，并且还生了几个子女，所以当妻子满心欢喜的欢迎丈夫归来的时候一见丈夫身旁还带着一个小孩子的时候，她实在是难以接受，对自己的丈夫是又气又骇，从此以后除了平时对郑季总是以白眼相待外，还经常把气撒在小卫青的身上。
俗话说六月的日头，后娘的拳头，毒着哩！郑妻白天要小卫青上山去放猪，晚上就把小卫青关在猪圈旁的小屋子里。平时郑季另外的几个小孩子经常是衣着光鲜，手里还拿着一些精美的食物到处去玩乐，可是小卫青经常是衣不蔽体，食不裹腹，即使这样，还经常要遭到郑妻的责骂和毒打。连郑家另外的几个小孩子都不拿小卫青当人，都一致把小卫青当成外人，当出气筒，动不动就拳脚相加，把小卫青打得躺在地上半天也爬不起来。有的时候小卫青也像自己的父亲诉苦，可是他父亲的日子也比他好不了多少，自从他带卫青回来之后，就经常遭到他妻子的白眼，他也总觉得自己在妻子面前矮三分，不管妻子怎么刻薄他，他也不敢还嘴，更不要说去帮助小卫青了，所以每当小卫青向他诉苦的时候，郑季也只是苦笑着安慰一番了事。
时间就这样一天一天的过着，卫青就这样艰难的过了七八年的光景，此时的卫青已经是十几岁的小伙子了。他每天的活计与以前并没有什么分别，除了放猪之外就是帮助父亲下地干活。一天他在山上放猪的时候，他坐在一棵大树之下想着这些年来自己所受的这些苦难，实在是心酸异常，他不知道自己这样的日子还能过多久。就在这个时候从山下走来一个挑着功夫担子的老铁匠从他面前走过，当老铁匠看到卫青的时候，就停下了脚步，把担子放下，注视了卫青很久，卫青被他看得有些浑身不自在，便张口问道：“老人家，难道你认识我吗？”老人摇了摇头说道：“不，我不认识你，不过你这个小伙子不简单呐，将来定能封侯，享受一番大富大贵呢！”卫青听了之后哭笑不得的说道：“老人家，借您吉言吧，我只不过是一个私生子，最大的期望就是能够有一顿饱饭吃，从今而后再也不挨打就已经心满意足了，哪里还敢期望什么封侯？您真是取笑我了！”老铁匠则坚持的说道：“老夫敢肯定你在十年内封侯，如果你十年不封侯的话，那我这一辈子白相面了。”说完，挑起功夫担子走了。可是走了一段路老人又回过头来说道：“小伙子，你不要着急，十年，只要十年！”
卫青见那老人走远了只后，自嘲的笑道：“十年？封侯？唉，这难道不是痴心妄想吗？想我一个放猪的下等人，又是私生子，不要说封侯了，我这一辈子只要能娶妻生子，过上平平常常的日子就不错了，封侯？呵……这老人家真能开玩笑！”卫青依旧在放着他的猪，根本就没有拿那老人的话往心里去，只是当作一番笑谈。
可是机会终于来了，卫青的母亲在生他之前已经生了三个女儿，长女君孺，次女少儿，三女就是卫子夫。卫子夫进了宫得到了武帝的宠爱之后，也经常回到平阳公主府里看望自己的母亲和姐姐们，偶然的一次，她听自己母亲说自己在老家还有一个弟弟时，便派专人把卫青从河东老家接了出来，经过卫子夫与平阳公主商量之后，平阳公主收留卫青在自己的府里当跟班儿。每当公主外出的时候，卫青就骑马相随，相当于警卫人员的性质。由于卫青胆大心细，办事沉稳，为人又忠厚，所以很得平阳公主的欢心。于是乎她就向汉武帝推荐了卫青，武帝就把卫青也带进了皇宫，先让他在建章宫当差。
有一天，卫青正在上林苑当值的时候，突然有一群武士气势汹汹的直冲卫青赶来，卫青还没有弄明白是怎么样回事情，就被那群人不由分说的捆倒在地。卫青当然不会束手待擒，大声的呼救，那群人见卫青呼救，怕被人发现，其中有一人伸手拉起腰中宝剑直刺卫青，就在这千钧一发之际，也不知从哪里飞来的一支飞箭直射此人，此人应箭栽倒在地，那群人回头一看，只见又来了一群人马，他们不认识，可是卫青却认识，此人就是卫青在平阳公主府里的好友公孙敖，他就领着人在离卫青不远的地方巡逻，听到了卫青的呼救声，赶紧率人来救，来得早不如来得巧，正巧把卫青从死神的手里救下来。公孙敖见自己好友被抓，顿时勃然大怒，随即率人冲了上去，和手