公元前三世纪的战国时期，在我国北方的大草原上兴起了一个游牧民族——匈奴。秦末汉初，匈奴势力达到极盛，统治着东到大兴安岭，西到祁连山、天山，北到贝加尔湖，南到河套的广大地区。匈奴贵族为了掠夺财物和奴隶，经常南下骚扰中原王朝的北部边疆。
西汉初年，汉王朝由于经济力量尚未恢复起来，而且内部不够稳定，从刘邦到汉武帝初年，一直对匈奴采取和亲政策，每年送给匈奴大量的礼物和金钱。但是，和亲政策并没能阻挡匈奴贵族的掠夺，北部边疆的生产时常遭到破坏，无数汉族人民被抢走或杀死。汉武帝即位后，专制集权空前强化，社会经济有了很大发展，军事力量也得到加强。汉武帝决定改变和亲政策，发动了全面反击匈奴的大规模战争。卫青和霍去病正是在这场战争中涌现出来的杰出将领。
卫青是继李广之后，汉朝抗击匈奴的大将。他是个私生子，被人看不起，受此影响，小时候的卫青是个胸无大志的人。有一次，一个相士对他说道：“你现在穷困，将来定为贵人，官至封侯。”卫青笑道：“我身为人奴，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢？”但是后来卫青运气不错，他同母异父的姐姐卫子夫被汉武帝刘彻看中，成了宠妃，因着裙带关系当了将军，自己被皇帝的姐姐平阳公主看上，当了驸马；他和李广曾分别率领万人出战匈奴，李广多次移动部队都没有遇到敌人，因而无法战斗，就在郁郁寡欢地归队的当儿，卫青却捡了个漏子，遇上小股敌军，轻轻松松地打了个胜战，从此更受青睐。这并不只是因为沾了姐姐的光而已，卫青本身也是一个相当有能力的人。
汉朝对匈奴的反击，使得匈奴的进犯更加猖狂了。公元前128年的秋天，匈奴骑兵大举南下，先攻破辽西，杀死了辽西太守，又打败渔阳守将韩安国，劫掠百姓两千多人。汉武帝派匈奴人敬畏的飞将军李广镇守右北平（今辽宁省凌源西南），匈奴兵则避开李广，而从雁门关入塞，进攻汉朝北部边郡。汉武帝又派卫青出征，并派李息从代郡出兵，从背后袭击匈奴。卫青率三万骑兵，长驱而进，赶往前线。卫青本人身先士卒，将士们更是奋勇争先，斩杀、俘获敌人数千名，匈奴大败而逃。
公元前127年，匈奴贵族集结大量兵力，进攻上谷、渔阳。武帝决定避实击虚，派卫青率大军进攻久为匈奴盘踞的河南地（黄河河套地区）。这是西汉对匈奴的第一次大战役。
卫青率领四万大军从云中出发，采用“迂回侧击”的战术，西绕到匈奴军的后方，迅速攻占高阙（今内蒙古杭锦后旗），切断了驻守河南地的匈奴白羊王、楼烦王同单于王庭的联系。然后，卫青又率精骑，飞兵南下，进到陇西，形成了对白羊王、楼烦王的包围。匈奴白羊王、楼烦王见势不好，仓惶率兵逃走。汉军活捉敌兵数千人，夺取牲畜一百多万头，完全控制了河套地区。因为这一带水草肥美，形势险要，汉武帝在此修筑朔方城（今内蒙古杭锦旗西北），设置朔方郡、五原郡，从内地迁徙十万人到那里定居，还修复了秦时蒙恬所筑的边塞和沿河的防御工事。这样，不但解除了匈奴骑兵对长安的直接威胁，也建立起了进一步反击匈奴的前方基地。卫青立有大功，被封为长平侯，食邑3800户。
匈奴贵族不甘心在河南地的失败，一心想把朔方重新夺回去，所以在几年内多次出兵，但都被汉军挡了回去。公元前124年春，汉武帝命卫青率三万骑兵从高阙出发；苏建、李沮、公孙贺、李蔡都受卫青的节制，率兵从朔方出发；李息、张次公率兵由右北平出发。这次总兵力有十几万人。匈奴右贤王认为汉军离得很远，一时不可能来到，就放松了警惕。卫青率大军急行军六、七百里，趁着黑夜包围了右贤王的营帐。这时，右贤王正在帐中拥着美妾，畅饮美酒，已有八九分醉意了。忽听帐外杀声震天，火光遍野，右贤王惊慌失措，忙把美妾抱上马，带了几百壮骑，突出重围，向北逃去。汉军轻骑校尉郭成等领兵追赶数百里没有追上，却俘虏了右贤王的小王十余人，男女一万五千余人，牲畜几百万头。汉军大获全胜，高奏凯歌，收兵回朝。
汉武帝接到战报，喜出望外，派特使捧着印信，到军中拜卫青为大将军，加封食邑8700户，所有将领归他指挥。卫青的三个儿子都还在襁褓之中，也被汉武帝封为列侯。卫青非常谦虚，坚决推辞说：“微臣有幸待罪军中，仰仗陛下的神灵，使得我军获得胜利，这全是将士们拼死奋战的功劳。陛下已加封了我的食邑，我的儿子年纪尚幼，毫无功劳，陛下却分割土地，封他们为侯，这样是不能鼓励将士奋力作战的。他们三人怎敢接受封赏。”汉武帝随后又封赏了随从卫青作战的公孙敖、韩说、公孙贺、李蔡、李朔、赵不虞、公孙戎奴、李沮、李息、豆如意等。
卫青后来又多次带兵出击匈奴，都是大胜而归，为稳定边疆立下了汗马功劳。但是，他并没有因为自己是皇帝的小舅子，就居功自傲。他做官极为谨慎。在外面打仗，有人犯了军法，卫青也不理会“将在外，军令有所不受”那一套，特意将犯人交由皇帝处置，以示人臣不敢专权。这使汉武帝更加喜欢他了。
后来，汉武帝对霍去病恩宠日盛，霍去病的声望超过了他的舅舅卫青，过去奔走于大将军门下的许多故旧，都转到了霍去病门下。卫青门前顿显冷落，可他不以为然，认为这也是人之常情，心甘情愿地过着恬淡平静的生活。
公元前106年，大司马大将军卫青去世，汉武帝命人在自己的茂陵东边特地为卫青修建了一座象庐山（匈奴境内的一座山名）的坟墓，以象征卫青一生的赫赫战功。