杨业生年不详，原名杨重贵，是麟州新秦（现在的陕西神木北）人。新秦位于边塞之地，当地的百姓以战射为习俗，杨氏一族在新秦以武力称雄一方。
杨业之父名叫杨宏信。后晋末年，契丹不断发展壮大，经常率领骑兵剽掠汉地。此时，杨宏信积极组织地方武装力量起事，自称麟州刺史。后汉灭晋后，杨宏信效力于汉，后汉承认了他的麟州刺史之职。后周建立以后，杨宏信归服后周以后去世，杨业之弟杨崇训继承了杨宏信的职位。
杨崇训曾经投降北汉，为了避北汉帝刘崇的讳，而改名重训；后来又依附于后周，为了避恭帝的讳，改名重勋。
北宋建立以后，杨重勋依然担任麟州防御使，并多次率军击退北汉军的侵犯，北宋在麟州设立建宁军以后，宋太祖命他担任节度留后。
杨业是在北汉刚刚建立的时候投效刘崇的。杨业从小就卓尔不群，擅长骑马射箭，对于世间不平之事好打抱不平，他曾对朋友们说："如果我日后成为一名大将，定要指挥千军万马，像用鹰犬追赶野鸡、兔子一样追赶敌人。"
杨业虽然没有读过什么书，但为人忠诚刚烈，英武勇猛，素有智谋。
杨业以骁勇善战而著称，能够与士兵同甘共苦。杨业大军所到之处，例来战无不胜。因此，杨业在北汉不断得到提升。
刘崇为了拉拢杨业，命自己的儿子刘承钧将杨业收为义子，并将杨业改名为刘继业。
在晚唐五代的时候，军阀割据势力为了拉拢亲信培植自己的势力，收义子，赐同姓，成为社会的风气，因此，杨业与刘崇的孙辈刘继元等人属于同一排行。
刘崇（895年-954年）是沙陀部人，是后汉高祖刘知远一母所生的弟弟。刘崇年轻时是一个有名的无赖，不但嗜酒如命，还非常喜好赌博，曾因犯罪而被处以黥刺，到军中当了一名士卒，追随兄长刘知远南征北战。后晋时，刘知远担任河东节度使之职，让刘崇当了一个马步都指挥使。
刘知远建立后汉以后，刘崇担任太原尹。隐帝即位以后，封刘崇为河东节度使兼中书令。
刘崇素来与郭威等人不合，隐帝登基以后，郭威等人把执朝政，刘崇一怒之下停止了财赋上的供应，并四处招纳贤士，准备自立为帝。
950年，刚刚继位不久的隐帝被杀，刘崇起兵讨伐郭威。不久，传来消息说，郭威等人准备秉太后旨意，立刘崇长子刘赞为帝。刘崇得知此事后，一心想做太上皇，对手下的人说道："如果我儿为帝，我又有何求。"他于是罢兵，派人到开封打探消息。就在此时，郭威却登基称帝，建立了后周。
恼羞成怒的刘崇在晋阳即帝位，仍以汉为国号，借此表明他是后汉王朝名正言顺的继承者。刘崇虽然在晋阳称帝，但是，河东地窄民寡，仅有并、汾、圻、代等11州。刘崇称帝以后，虽然设置百官，但官员们的俸禄反倒不如从前。
刘崇决定借助契丹强大的力量与后周相抗衡，而契丹此时也想利用汉与周之间的矛盾，从中获得更大的利益。
这年七月，辽主封刘崇为"大汉神武皇帝"，从此，北汉与辽建立了依附关系。
刘继元不但仪表堂堂，而且善谈论，平日里好与得道高僧往来，精通禅学。968年九月，刘继元登上帝位。他称帝以后，一改以往谈禅读经、温文尔雅的形象，对大臣们暴戾无常，大开杀戒。
当时北汉无财无粮，北宋又不断威胁着其生存，因此只好完全仰契丹人的鼻息。
北宋于968年命李继勋率兵攻打北汉，杨业奉命扼守团柏谷，因团柏谷守将降宋，杨业只好率兵返回太原。宋军兵临汾河之时，杨业率兵封锁前往汾河桥的道路，在双方争战中，杨业的坐骑不幸被射中，被迫退回城中。
次年，宋太祖亲自率兵攻打北汉，杨业率领百余名精骑对党进所部发动了突袭。太原城被围之时，杨业与司空郭无为曾经率领千余名精兵对宋营发动夜袭，但因风雨交加，被迫收兵。
975年三月，辽与北宋开始通好，辽遣使让刘继元与宋通好。但是辽与北宋之间的关系并不稳定，不久双方的关系又开始紧张了。
宋太宗赵匡义于979年下令进攻北汉。赵匡义久闻杨业的大名，在北征太原的时候，曾经悬赏缉捕他。
赵匡义任命潘美为北路都招讨使，攻取太原，太原城被围了一个水泄不通，城内的物资供应被断绝，孤城危如累卵。
赵光义从以往的失败中积极吸取教训，命邢州判官郭进担任太原、石岭关都部署，负责阻截辽国的援军。
赵光义预料到契丹会出兵救汉，为了壮大军威，四月下诏亲征。五月，北汉指挥使郭万超投宋以后，北汉诸将士纷纷降宋。太宗向刘继元保证道："如果投降，可保全太原城内百姓的安全，可永葆刘继元的富贵。"不久，刘继元率刘氏宗族降宋。北汉政权灭亡，五代十国的割据局面结束了。
北汉被灭掉以后，汉主刘继元已经降宋，杨业却还在殊死守城。宋太宗早就听说过杨业的威名，今见骁勇善战的杨业后，更是爱才心切，派人前去招降。杨业在得知刘继元降宋后，哭着向北面跪拜以后，解甲前去见太宗。
太宗命他恢复杨业原名，后来，宋人乃至辽人叫他杨继业。