汉王刘邦率领军队东进，迅速平定了三秦，项羽闻讯，非常恼火。刘邦派人给项羽送去一封信，说：“汉王失去职位，所以想得到关中，只要实现以前的约定，就会立即停兵，不敢东进。”刘邦又把齐、梁二地的反书送给项羽说：“齐国想要跟赵国一起消灭楚国。”
项羽信以为真，就没有把刘邦放在眼里，他决定继续向北攻打齐国，在消灭了齐国以后，再集中力量解决刘邦的问题。西汉高帝二年（前205）冬天，项羽进逼城阳，齐王田荣也率领军队迎击项羽。然而，田荣根本不是项羽的对手，没有几个回合，他就被打得落花流水。田荣逃到平原，平原的百姓把他杀死。项羽继续向北推进，烧毁齐国的城邑，活埋齐国的士兵，掳掠齐国的妇女。面对项羽的残暴，齐国人又聚集起来，顽强地与楚军周旋。田荣的弟弟田横收容了齐军逃散的士卒，总共得到几万人，他指挥这几万人的军队，在城阳反击楚军。项羽进军的步伐因此而缓慢下来。
这一年春天，刘邦率领五个诸侯国的军队，总共五十六万人马，往东进军，讨伐楚国。项羽得到这个消息以后，只好让他的部将继续攻打齐国，他自己率领精兵三万人往南从鲁县穿过胡陵，回援彭城。
四月，汉军已经攻克彭城。刘邦率领军队进入彭城以后，肆意掳掠那里的财宝和美女，天天摆设酒宴，大会宾客，陶醉在胜利的喜悦之中。项羽率领军队从西面奔向萧县，早晨他就开始向汉军发动进攻，打到彭城时，已经是中午，汉军被打得溃不成军，四处逃散，被楚军斩杀了十几万人，掉进觳（gǔ）水和泗水里淹死的人不计其数。楚军又追击到灵壁东面的睢（suī）水岸边。汉军争先恐后地败逃，在楚军的追逼下，有十几万人掉进睢水里，睢水因此被阻塞，水流不畅。
不一会儿，刘邦就被楚军团团地围困起来。正在这时，一阵狂风突然从西北方向刮起来，摧折树木，掀毁房屋，扬起尘沙，卷走石块。天地之间骤然间一片昏暗，白天一下子变成了黑夜。楚军被这突如其来的狂风刮得阵脚大乱，利用这个机会，刘邦带领几十名骑兵慌忙逃离战场。
刘邦原本打算从沛县经过时，把家眷一起接走，没有想到楚军也派人追到沛县。刘邦家里的人早已逃散，根本不见踪影。刘邦在路上碰见了儿子刘盈和女儿鲁元公主，就急忙让他们上车，一块儿往西逃跑。
楚军的一队轻骑在后面紧追不舍，喊杀声越来越近。刘邦心急如焚，他想减轻车辆的负荷，让马车奔跑的速度加快，心一横，就把儿子和女儿一把推落车下。太仆夏侯婴马上下车把他们俩重新抱上车。然而，跑着跑着，刘邦心一急，又把儿子和女儿推下车去。夏侯婴就再次把孩子们抱上来。这样反复了几次，刘邦非常恼火，他狠狠斥骂夏侯婴。夏侯婴说：“虽然情况危急，马也不可能跑得再快，怎么能把孩子们扔掉呢？”
就这样，在夏侯婴的护卫下，两个孩子才得以脱险。
刘邦派人到处寻找父亲刘太公和妻子吕雉，都没有找到。原来刘邦的部下审食（yì）其（jī）带着刘太公和吕雉抄小路逃出沛县，也在寻找刘邦，没有想到偏偏碰上了楚军。项羽就把他们留在军营里充当人质。
吕雉的哥哥吕泽率兵驻守下邑，刘邦顺小路前去投奔他，渐渐地收集汉军逃散的士卒。到了荥（xíng）阳时，各路败军都已经在这里聚齐，丞相萧何把关中的老弱也组织起来，全部带到荥阳，汉军才重新振奋起士气。楚军从彭城出发，一直追到荥阳，在荥阳南面的京邑、索邑之间，他们与汉军交战，汉军打败了楚军，遏止了楚军进攻的势头，楚军也因此无法越过荥阳，继续向西推进。
诸侯们见楚军强大，汉军遭到惨败，又纷纷背离刘邦，投靠项羽。