但事与愿违，虽然同年中，意大利第二大城市卡普阿倒戈投入汉尼拔阵营，汉尼拔并随之以此城作为他的新基地，但自始至终只有少数意大利城邦加入他的行列，罗马在意大利的联盟仍屹立不垮。
意大利战争至此陷入了一场僵局，罗马人了解到要打败汉尼拔，唯一的方法是充分地使用消耗战略。罗马人不给汉尼拔任何与其正面交锋的机会，并不断派出小部队骚扰敌军，旨在耗尽汉尼拔的精力，动摇其军心。接下来的几年内，汉尼拔在意大利南部进行了一系列成效不彰的军事行动。
依靠地方城镇低效率的补给，缺乏能独当一面的将领，迟迟等不到迦太基的援军，无法取得与罗马相抗衡的资源等因素，使得进军罗马城的希望越来越渺茫。虽然在此期间汉尼拔仍与罗马打了几场显著的胜仗，于公元前212年彻底摧毁两支罗马军队，并在公元前208年的一场战役中杀死了两名罗马执政官，但他始终无法取得任何关键性的胜利。
英雄何以走上末路
公元前204年，在汉尼拔尚未回迦太基前，西庇阿率军入侵北非，迦太基政府内的主和派打算与罗马商讨休战衆议。主战派召回汉尼拔，恢复了民众对战争的支持，汉尼拔被任命为军队统帅，掌管由非洲军与汉尼拔从意大利所携雇佣兵组成的联军。
公元前203年，汉尼拔与西庇阿在和平谈判中首次会面，尽管他们互相仰慕对方的军事才华，但在罗马坚持指责迦太基违背第一次布匿战争后的和约之下，谈判宣告破裂。不久双方进行了关键性的扎马战役。
扎马战役与第二次布匿战争中其他战役最大的不同点，在于迦太基在步兵数量上占了优势，反之在迦太基前盟友东努米底亚王倒戈加入罗马阵营之后，罗马军首次拥有了骑兵优势。虽然逐渐年老的汉尼拔在多年征战意大利之后身心俱疲，但整体来讲迦太基仍然占有数量上的优势，并拥有为数八十的战象。
罗马的优势骑兵在战斗开始不久便击溃迦太基骑兵并一路追出战场，而西庇阿设计的战术阵形轻易地化解了汉尼拔战象的威胁。即使如此，双方仍进行了一场硬战，战况甚至一度显示汉尼拔即将获胜，但西庇阿适时地重整其部队，与全胜后掉头归来的罗马骑兵向迦太基军前后同时进击。迦太基军的阵线至此崩溃，据估计，此战迦太基损失了三万一千人，另有一万五千人受伤，而罗马军总共只损失了一千五百人。
迦太基在此役战败后对汉尼拔的军事能力失去了信心，于是随即向罗马投降，正式结束第二次布匿战争。战后罗马向迦太基定下了极为苛刻的条款，除了巨额战争赔款之外，迦太基失去了所有海外领土，海军解散至只剩下十艘防海盗的军船，并从此不得在未綷罗马许可下建立军队。
战后，公元前196年汉尼拔成为迦太基的行政官，实行了许多重大改革，以帮助迦太基从战争的疮痍中恢复。但这些改革措施遭到贵族寡头们的强烈反抗。他们向罗马政府告密，诬陷汉尼拔准备发动新的反罗马斗争。他们想借此机会加害汉尼拔。已臣服于罗马的迦太基政府竟准备用汉尼拔来换取罗马人的欢心。汉尼拔万般无奈下连夜逃出家乡。他首先拜访了迦太基的故土腓尼基的泰尔城，随之来到塞琉西，被准备向罗马开战的塞琉西国王安条克三世奉为上宾。
汉尼拔不久便发现安条克的军队无法与罗马军的力量抗衡，因此他建议派遣舰队登陆意大利南部，并自愿率领这批军队。但听信内臣进言后的安条克三世不愿将任何重要职位交给汉尼拔，因此未予采纳。据斯特繺博与普鲁塔克所记，在这段期间内汉尼拔亦花了一段时间在亚美尼亚宫廷中，帮国王阿尔塔克西一世兴建新首都。
公元前190年，汉尼拔受命指挥安条克的舰队，但在西底被罗马的盟军击败。安条克在一连串战役中败给罗马之后，有意向罗马人求和并交出汉尼拔，因此汉尼拔逃至克里特岛，但不久便再次返回小亚细亚，投靠当时正与罗马盟国帕加马交战的比提尼亚国王普鲁西亚斯一世。汉尼拔在这场战争中为普鲁西亚斯立下战功，再次让罗马人决心使其就擒。在罗马的要求下，普鲁西亚斯同意将汉尼拔交出，但决心不落入罗马人手中的汉尼拔至此服毒自尽。其死亡的正确年代仍受到争议，但历史学家李维的著作似乎暗示汉尼拔与小其十二岁的西庇阿同于公元前183年过世，享年六十四岁。
虽然号称“战略之父”的汉尼拔在意大利所向披靡、战无不胜，连续击败罗马军，但由于迦太基政府内讧不断，他不能及时从北非得到补给以及援兵，而来自西班牙的援军又遭遇罗马的围堵，因而汉尼拔全军覆没，最终不得不放弃意大利，无功而返。在扎马会战中，汉尼拔败给了罗马著名统帅西庇阿，这是他一生中第一次败仗，也是最后一次败仗。迦太基无力再战，只得向罗马投降。罗马取得第二次布匿战争的最后胜利。因为这次战争始终以汉尼拔的活动为线索，所以这次战争也被称做“汉尼拔战争”。
汉尼拔为何得名“战略之父”
汉尼拔被西方人誉为“战略之父”，他的许多思想和作战方法都有着理想主义的光芒，或者说，他是今天美国“高边疆”战略理论之父。汉尼拔在战争中显示了他卓越的统帅才能和超常的军事才华。他在大战略层次上的战争艺术和实施战争的指挥作战中有许多思想都值得后来人借鉴。那么，汉尼拔的超凡军事思想主要体现在哪些方面呢？
一、边疆的延伸。现代人普遍认为，边界是指陆上和海洋边界，这是在地图上明确标志出来的。事实上，早在汉尼拔征战罗马时期，边疆的概念早就已綷不仅仅局限于固有的陆地或海洋边界了。当汉尼拔在罗马境内作战的时候，他已綷将迦太基的战略边疆锁定在罗马国内。在汉尼拔深入罗马共和国前期的十几年中，罗马忙于应付汉尼拔的境内作战，是无法抽调兵力侵犯迦太基本土的，而实际上，迦太基的边疆已綷被汉尼拔延伸了。在汉尼拔的战争中，战略边疆前伸的一个最直接的后果，就是造成了罗马必须在内线作战，同时也必须为此承担战争所造成的一切伤害。汉尼拔正在用一个超时代的战术，对抗仍然坚守着传统战争思维观的罗马军队。而这，也成为汉尼拔军事胜利的关键因素之一。前伸的战略边疆，在事实上构成了对罗马帝国的最直接威慑，迫使其不得不集中全部的力量，对抗来自内部的威胁。汉尼拔的边疆前伸战略，对于促进这样局面的出现，具有划时代的意义。今天的美国大兵也娴熟地掌握了汉尼拔边疆延伸的要义。
二、利用雇佣军。汉尼拔在其战争中最大的一个特点就是其军队中有很多的雇佣军，早在远征意大利之前，汉尼拔就在西班牙征集了一支优秀的善于作战的雇佣军部队为其战略目标服务。迦太基是个发达的商业国家，所以这个国家的商人和富有的农民们没有兴趣也不愿意到国家从军。在汉尼拔远征意大利之前，他手下只有两千五百名左右的士兵是迦太基公民，其他的士兵都是从欧洲和非洲各地雇来的，应该说汉尼拔是世界上较早大规模使用雇佣兵部队参加作战的军事统帅。汉尼拔还十分重视收买人心，有时候，他将自己扮做来自上天的神，使那些迷信的当地酋长相信他所说的话。在领导历史上前所未有的雇佣军部队时，汉尼拔綷常把打胜仗后俘获的奴隶分给自己军队中的高卢人，使他们有获利的机会，从而更死心塌地地为他去作战。汉尼拔的几次胜利使其在意大利半岛上的同盟者愈益增多，其中的一部分人寄希望于汉尼拔能够消灭罗马，使他们在其中得到更多的好处，这就是最早的“战争红利”驱动心理。
汉尼拔在大战略层次上对人类战争理论的贡献就在于：他通过一群雇佣军打代理人战争，将迦太基的“战略前沿”置于对手的领土上，从而使对手长期无法对迦太基本土形成威胁。而在指挥战争中他一般采用有效规避对手主力部队，并打击敌方实力较弱的部队的方法。采取不断骚扰和袭击对手的方式，消耗对手的战斗力，然后以逸待劳击破敌军。
三、将战场建立在敌人的腹地。汉尼拔的战略战术，在本质上是避敌主力，在不停地扰敌过程中消耗敌人的实力。与此同时，汉尼拔战略思想对世界军事的一个重要贡献在于：战争不再有特定的前线。他开创了一个全新的战争规则。在汉尼拔的战争中，雇佣军所到之处，便是前线的延伸之地。当汉尼拔的军队出现在罗马城外的时候，罗马城就是战争的前线。
将前线放在敌人的家门口，这不但有利于保护本国的綷济不受到敌人的打击，同时，严酷的军事形势，将对敌国上下造成沉重的心理压力。从一定意义上说，汉尼拔的“前线延伸”，也是一种成功的心理战。但是限于当时的条件，汉尼拔没有完成其预定的目标，然而，这并不意味着汉尼拔战略的失败。即使是在当代，汉尼拔的作战思想对我们仍然有极大的启示。
但是，我们同样也看到了这样的事实，在局部战略和大战略上，汉尼拔作为实际在前线坚持战斗的指挥员，确实发挥了自己的最大的极限。但是，由于其本人并不是国家政策的制定者，所以即便他在一个局部上实现了战术、战役与战略的多重胜利，但决定整个战略方针是否可行的核心基础还是国家整体利益。因此，汉尼拔的失败与其说是由于西庇阿战略战术运用得当的成功，还不如说是迦太基总体国家战略的失策。