李宗仁上台后，摆出一副革新面目，23日发表文告，决心“以最大努力谋求和平”，并宣布“不合民主原则之法令悉将迅速撤销”。24日他颁布八项命令：将全国各“剿总”改为军政长官公署，取消全国戒严令，释放政治犯，解除报章杂志禁令，停止特务活动等。27日李宗仁致电毛泽东，希望尽快举行国共和谈。电报中说：“贵方所提八项条件（指1月14日毛泽东声明中提出的惩办战争罪犯、废除伪宪法、废除伪法统、改编反动军队、没收官僚资本、改革土地制度、废除卖国条约、召开政治协商会议成立联合政府等进行谈判的八项条件。——作者注），政府方面已承认可以此作为谈判基础，进行和谈。”
国民党一面高喊和平，同时又不肯放下武器。1月24日国民党“军事观察家”声称：“政府方面系谋取和平，并非投降。长江为国军之最后防线，如共军仍继续近迫，则战争殆仍难免。”
毛泽东在新年献词中指出：“敌人是不会自行消灭的。”这是中国共产党人同国民党多年斗争总结的经验。无论国民党当局高喊和平还是积极备战，都不能改变共产党人将革命进行到底的决心。1月15日毛泽东给各中央局的指示中明确地说：“我方提出的八个和平条件是针对蒋方五个条件的。蒋方有宪法、法统、军队三条，我方亦有此三条。蒋提保持国家独立，我提废除卖国条约。
蒋提保持自由生活方式及维持最低生活为一条，我则分提没收官僚资本、改革土地制度两条。此外，我方的第一条（惩办战犯）与第八条（政协、联府、接收）是严正战争责任与不承认南京政府继续存在。双方的条件都是对方不能接受的，战争必须打到底。”
1月12日毛泽东指示华野、中野：部队休整到3月底为止，在此期间“完成渡江作战诸项准备工作，待命出动。”遵照中央指示，华野一面进行整编，一面开始了渡江的准备工作。2月4日，粟裕指示各兵团派出侦察部队，到长江边进行实地侦察，任务包括江边地形和船只情况、渡江地点的选择、敌军江防部署、沿江两岸道路情况等。2月9日，总前委在河南商丘开会，研究渡江作战问题。会后给军委的报告说：“关于渡江时间，我们一致认为以在3月半出动，3月底开始渡江为最好。”“如推迟到4月出动，4月底5月初渡江，则敌在政治上军事上有更多准备。特别在季节上已届春雨桃汛时间，困难增多。仅在准备方面略较充分。”11日军委复电，同意3月底渡江的计划。指示“总前委照旧行使领导军事及作战的职权，华东局和总前委均直属中央。”
渡江不是一件轻而易举的事情。渡江的成败关系到中国革命是取得全国胜利还是半途而废的关键，需要克服种种困难，考虑到多方面的问题。因而渡江的准备工作比以往的任何战役都要复杂得多。
首先要熟悉长江的水情。长江是我国最大的河流，中下游江面由西向东逐渐放宽。湖口至芜湖间宽1000~1500米，南京段宽2000~2500米，镇江至江阴段宽约3000米，江阴以东宽达万米。
江身弯曲，其中芜湖至江阴段形成一个大弧形，水流受潮汐影响较大。枯水季节，江中有许多沙洲露出水面，为渡江提供了一定方便。每年4月春雨桃汛之后，水量渐涨。进入梅雨季节后，降水的增多导致江水水位上涨，道路泥泞，对作战就很不利了。在交通方面江南与江北条件也不一样。江南公路、铁路发达，便于部队运动。江北的公路、铁路条件要差得多。由于这些地理条件，使长江真正如同一条“天堑”，横在我军面前。
在中国古代战争史上，有过几次渡江的战例。东汉末年曹操在赤壁之战中，因北方士兵不服水土，流行疾病，又不习水战，被孙权、刘备的联军击败。北魏初年，太武帝拓跋焘率大军南下，在陆战中连续击败南朝军队，进至瓜步（今江苏六合县南）。眼望波涛汹涌的长江，这位擅长骑马的少数民族君主丧失了勇气，叹道：
“嗟乎，天之所以隔南北也！”调头回中原去了。金军在完颜亮指挥下大举攻南宋，南宋文臣虞允文指挥精干的水师舰队，在采石大败金军，保全了南宋的半壁江山。而几次大规模的统一战争，如西晋灭吴，隋灭陈，北宋灭南唐渡江作战的成功，都是在双方实力对比悬殊的条件下，北方军队在充分准备后，从长江中下游多点突破，并以水师顺江而下协同作战取胜的。历史上的渡江作战有成功的经验，也有失败的教训。现实情况是，我军既无空军，也无舰艇，渡江主要依靠木帆船，和曹操的时代差不多。以木帆船冲破国民党军舰、飞机、大炮构成的长江防线，其难度是可想而知的。
三野部队到江边进行实地侦察后，产生了许多活思想，少数人麻痹轻敌，看到长江说：“长江最宽五里，爬也爬得过去。”有的说：“准备什么呀，敌人在长江边上那些破烂的部队，还经得住我们打吗？长江那么长，敌人哪里守得住！”但多数干部战士思想上顾虑很大。27军的山东干部说：“打济南打潍县，不管城墙多高，咱都能打过去。山地平原都不怕，到了水上就没办法。”战士们反映：“遍地是水，怎么进行土工作业？”炮兵担心水网地带炮拖不上去，电话兵顾虑没处架电线，通讯员顾虑村庄零散容易迷路，侦察员顾虑不好隐蔽。总之，原来平原作战的一套都要改变。许多战士对南方水土不服，很不习惯。主要反映是南方水多、雨多，饭吃不来，生活不习惯。有的编成顺口溜：“南方好，南方好，说话不懂，吃饭不饱，走小路，睡稻草，泥泞路滑走不了。整天没太阳，天气真不好。”“吃大米，长脚气，光见水，不见地。”山东、苏中许多干部，对过江思想上存有疑虑。有的想回家，不愿南下。
针对这些情况，3月初三野部队南下到达渡江作战准备位置。
宋时轮兵团在无为、和县地区，陈士榘兵团在浦口外围，叶飞兵团在江都、泰兴、靖江间，开始渡江准备和水上演习。历史经验证明，要想渡过长江，首先要使北方士兵熟悉水性和水面作战的技术。各部队利用湖泊、内河天天练习上下船只、乘船、划船、游泳、救护、堵漏、救生器材使用。水上作战动作演练水上射击、打敌舰、登陆、滩头阵地防御。这些技术训练完成后，部队开始训练渡江队形、指挥联络、步炮协同的战术训练。陈毅曾对《大公报》记者杨刚讲述我军水上练兵的故事：3月中旬，巢湖沿岸的老百姓天天看见成群成队的解放军围在湖边，专门上船、下船，下船、上船。走走跳板又下来，下来又上去。把船摇出去，没多远又摇回来。不但战士们是如此，连武器也如此。天天把枪炮搬上各式各样的木船，搬上又搬下。上帆下帆，摇船撑船，日日夜夜的干。解放军如同疯了一样，专做这些老百姓看来毫无道理的事。
就这样，几十万北方人学会了跑跳板，在船上坐得住，站得稳。他们学会在一百吨的木船上放些什么武器，在二百吨的船上又放些什么样的武器。以后他们练渡湖，使用了一个个师在一点钟内乘顺风渡过了巢湖。巢湖湖面比长江宽好几倍，北方人因此知道了过长江无非是几分钟的事。他们用找“诸葛亮”方法，找了几百个船老大，讲驾船、风向、水性的道理。老百姓都自愿替解放军驾船渡江。每个军在一个月内使每只船培养了两三个水手，这样飞渡长江的翅膀就完成了。陈毅强调：“这次坚韧卓绝的渡江准备，把北方人变成了南方人，把陆军变成了水军，把浩荡长江变成了平阳大道，这是奇迹。这些都是广大指战员与人民群众共同研究的结果，是他们智慧与血汗的结晶。”
在渡江时，我军面临的是国民党军的立体防御。国民党军拥有空军、海军和相当数量的火炮。敌军企图在我军渡江时依托既设阵地，在海军、空军配合下，在江面上大量杀伤我军，阻止我军登上南岸。所以在渡江准备中，要考虑到一旦船被击毁，我军战士能够自救和泅渡过江。林彪在3月18日给军委写了个报告：
“关于渡江的技术问题，去年7月我在松花江边休养时略为注意研究。我曾用三块长方形的小木板钉成一个三角形，人在三角木板中可在江中自由浮走，而不致倾斜沉没，然当时系徒手。但估计如以全副武装亦必照样浮，至多再将木板略加宽长一点即可。……
在不能使用船只（目标大易击沉）或无船只的条件下，在敌前渡江，估计使用此法甚有效。”军委将电报转给二野、三野，各部队都准备了三角板。有的用草绳扎成“救生圈”。尽管后来渡江时我军很少有船沉没，这些简陋的泅渡工具对稳定战士渡江的信心起了积极的作用。
渡江要有船。国民党军撤退时，已将长江北岸的船只全部拖到江南或就地毁坏，我军筹集船只需要从内河、湖泊的老百姓手中征集。这不仅是战争的需要，还是一项政策性很强的群众工作。
船是渔民、水手的命根子，征集的地区多数是新解放区。要老百姓连船带人支援渡汇，不是一件容易的事。27军3月份到达安徽无为县后，即开始调查。征集船只。地方同志说能找到上千只船，水手也能保证配齐。实际情况根本不是那么回事。许多船民都把船藏了起来，27军在附近三个县才征集到400多只船，与需求差距很大。于是27军决定“以县为单位，组织调查组，沿河巡检漏报船只。有的从小河岔找出来，有的从水底捞出来，有的从部队演习船中查出来。”这样，27军集中了515只能用于渡江的船只，基本保证了一梯队两个师的需要。在地方政府的帮助和各部队努力下，到4月渡江前三野共筹集各类木船20977只，其中用于渡江作战的有8302只，同时动员了19000多名船工随船参战。
随船的船工、水手多数加入了封建帮会。以地域分为“淮帮”、“芦江帮”、“无为帮”等。帮头有很大的权力，帮与帮之间也经常打架。船上的风俗习惯完全是封建迷信的一套，如在船上不准说“翻、沉、滚”三个字，我军送的锦旗上写着“一帆风顺”，他们嫌“帆”“翻”同音不吉利，都不肯要。我军宣传“翻身”他们不愿意听，要说“解放”才行。还不能在船上大小便，筷子不能平放在碗上。船老大和水手都重义气，好出风头，喜欢人家奉承夸奖，愿意见“大官”，愿意听“大官”讲话。对这些习俗，不是几天就能教育过来的。我军干部在政治教育上采取灵活的政策，以团结为主，通过控诉国民党对船民的压迫摧残，启发他们的阶级觉悟。宣传我军的伟大胜利，开展立功活动，在船民中培养积极分子。解决船民的家庭困难，进行救济，使其安心服务。对船只情况进行登记，损坏赔偿，保证船主利益不受损失。通过多种艰苦细致的思想政治工作，把工作做到实处，调动了广大船民的积极性。他们纷纷写了决心书，按上手印，保证在任何情况下送解放军过江，不畏缩不逃跑。不但不破坏船只，而且尽量保护与自己修补。
渡江的木船是从江北各地千辛万苦征集来的，为了保护好它们，实现战役的隐蔽性和突然性，不可能过早把船只摆在江岸边。
如果把几千条船摆在江边，必定会遭到国民党军飞机和军舰的轰炸。在战役开始前，我军的船只都隐蔽在长江北岸的河湖港汊里。
内河的出口则被敌军严密监视，因此我军的船只在战役开始时不能从内河进入长江。怎样解决这个难题呢？邓小平政委在新政协会议上作报告时这样讲：“我们渡江需要船，原有的船被国民党全部拉到江南去了，我们的船停靠在长江以北的内湖和内河里（每船可载八至十二人，大者五十人，最大者一百人），但是内河的出口当时被敌人封锁了，因此船不能从内河入江。对这样的困难，有些所谓军事家认为不可克服，然而我们克服了。渡江的时候，敌人不知道我们的船是从什么地方来的。其实，我们的船不是从水路出去的，而是从旱路出去的。我们的办法叫做掘渠。我们是把船拖出去的。有时为疏通一条渠道使船出去，要掘几十里（最长的有六十里）的小河沟。为了掘渠翻坝，曾使用了两千一百万个人工。这样巨大的工程是在一个半月的准备时间中完成的，是我们几十万士兵、指挥员包括师长、团长亲自参加这个劳作，以及几十万民工的劳作才完成的。”
25军集结在无为东南的姚王庙地区，他们掘渠翻坝，苦干加巧干。221团负责疏通汤浦到贾家桥的河道，开始没经验，上来就挖。结果前挖后塌，四天的工程干了七天。后来总结经验，挖出的淤泥要翻到远处，如果把淤泥翻在岸边，很快就会塌陷到河床内。对于容易坍塌的淤泥地段要事先打上木桩，防止坍塌。河床内有积水，要先筑坝将水车干。如果贪图省事，在水中挖泥。效率极低。翻坝也要讲技巧，原来是人海战术，前拉后推，蛮干而无功，一个连一夜只能翻六条船。后来研究了办法，在坝上开一丈多宽的口子，坝口略高于江面水位。将船从渠道中拖出来，地上铺竹片作“轨道”，减轻阻力。推船时两边力量平均，组织若干人在船尾用力推，使船头抬高，速度快而省力。翻坝时先过小船，将坝口翻滑，大船就容易过去。到战役发起前，一个连一夜能翻上百条船。
在二野、三野抓紧进行渡江战役的准备工作时，毛泽东考虑到更多的问题。人民解放军横渡长江，不仅是一个军事战役，更重要的是渡江之后如何有效地占领和接管江南的诸多城市，把战争破坏减少到最低程度，保持江南地区的繁荣和稳定，为新中国奠定一个良好的经济基础。2月8日他给邓小平、陈毅发出一封电报，提出“把军队变为工作队”的重要指示。他指出：“3月仍需整训，并须着重学习政策，准备接收并管理大城市。”“军队不旦是一个战斗队，而且主要地是一个工作队。军队干部应当全体学会接收城市和管理城市，懂得在城市中善于对付帝国主义和国民党反动派，善于对付资产阶级，善于领导工人和组织工会，善于动员和组织青年，善于团结和训练新区的干部，善于管理工业和商业，善于管理学校、报纸、通讯社和广播电台，善于处理外交事务，善于处理各民主党派、人民团体的问题，善于调剂城市和乡村的关系，解决粮食、煤炭和其他必需品的问题，善于处理金融和财政问题。总之，过去军队干部和战士们所不熟悉的一切城市问题，今后均应全部负担在自己身上。”毛泽东强调指出：“现在已经要求我们这样提出任务了，如果我们现在还不提出此种任务，我们就会犯极大的错误。”