在这同时，起义部队进行了组织整编，确定正式番号为“中国国民党人民解放军第1兵团”。兵团司司令员陈明仁，副司令员李觉、魏镇，傅正模、唐生明、王劲修，参谋氏李觉（兼），副参谋长黄克虎、文蔚雄、王昌烈。参谋处长李吴，副处长文蔚雄（兼），经理处副处长秦承武、欧阳崇一，卫生处长张如雄，军法处长梁凤，警卫团长陈明信（陈明仁之弟）。兵团下辖第1、第2、第3军。第1军军长王劲修（兼），副军长文于一、张诚文、康朴，参谋长陈庚，副参谋长阎敦立。该军下辖第1、第2、第3师。原197师整编为第1师，师长曾京，副师长刘开悦、程杰，参谋长张绳武。原232师整编为第2师，师长康朴（兼），副师长张镜白、谢醒亚、杨光耀，参谋长郑克林。原307师整编为第3师，师长余九成，副师长李瑶含、薛岗悟，参谋长梅光儒。第2军军长傅正模（兼），副军长汤季楠、贺光谦、戴文，参谋长贺光谦（兼）。该军下辖第4、第5、第6师（第6师只有一个空架子，欠第16、17、18团）。原63师、湘东纵队整编为第4师，师长汤季楠（兼），副师长龙其光、陈棋新，参谋长彭志敬。以原宪兵第10团2营、长沙绥靖公署警备大队、湖南省政府警卫大队、保安司令部警卫大队，长沙警卫中队、保安司令部警卫第1大队、湖南省暂编纵队司令部补充团，合并整编为第5师，师长姜和瀛，副师长陈立谟，刘鸣球，参谋长孟文楷。第6师师长戴文（兼）。第3军军长彭杰如，副军长张际泰、蔡杞材、程邦昌，参谋长廖炳几，副参谋长李铁肖。该军下辖第7、第8、第9师。以原湖南保安第1师整编为第7师，师长何元凯，副师长漆启宇。以原湖南保安第2师4团。6团和4师之12团合并整编为第8师，师长周笃恭，副师长黄玉谷，参谋长桂次莲，以原湖南保安第3师，保安司令部警备团和湘西纵队等合并整编为第9师，师长张际泰，副师长唐日高、李谦，参谋长熊彭年，另设空架子师第10、11师，师长分别为向承程，陈光中。部队编成后，兵团实有36681人。编余人员，一部送军校培训，一部作转业复员安置，工作进展顺利。
第二阶段，从9月29日至11月1日，起义部队正式改编为中国人民解放军第21兵团。经过第一阶段的教育学习，广大起义官兵的觉悟有了一定的提高，许多人感到再佩戴“国民党”字样的符号是个耻辱，而且外出办事都要遭到盘问，必须解释一番，很不方便，因而纷纷要求改编为中国人民解放军。9月29日，华中军区领导人致电中央军委，提出对陈明仁进一步整编的方案（将陈那1个兵团3个军9个师整编为1个兵团2个军6个师），得刊军委的批准。10月5日，******主席又致电****中央华中局、华中军区并湖南省委，通报了他与程潜、陈明仁、李明灏谈话的主要内容：
（1）程潜、陈明仁现在的表现看来，似乎均有决心站在我们方面。在我和他们谈话时，李明灏代其提出人枪太少，问是否可以给他补人补枪，并要求我们速派干部帮助整训，要求在打白崇禧及他处时，让其参加作战立功。
（2）你们根据陈部现有的人数给以两个军六个师的正式番号是适当的，军委已决定给以第二十一兵团，第五十二军、第五十三军及二一四师至二一九师的番号，我已将此点向程、陈、李三人议了。他们同意这样做。惟陈明仁觉得，应先对干部说清楚，对多余干部应有安置，即用调训方法使其学习，以安其心。然后宣布缩编为两军六师。我认为陈明仁这点意见是合理的。十月十日左右，陈明仁、卓明灏两人由此动身经武汉返湘，请待他们到达说清楚后，再定宣布及实行的步骤。程潜在京多留若干天，然后返湘。
（3）为使该兵团从陈明仁起，全体官兵安心供职，增强其彻底改造的决心，表示我们对程、陈及该兵团看成和自己人一样，我们认为如有可能应在该兵团整编及纪律做得有些成绩的时候，给他们补充一些人抬，其来源可从对白崇禧作战的缴获中取得。这样一做，可以增强我们对该部的领导权及发言权。再则在湖南全省平定及土改实行以后，即在大约一年以后，如该兵团表现好，而我们的地方部队，例如独立师、团等又可以集中叶，可以考虑编一个军加入该兵团，使陈明仁有三个军。这：叶干改造该兵团是有作用的。以上各点的大意我已向程、陈李透露了。
……
根据中央军委的电令和******的指示，第四野战军于汉口发布战字第105号命令，将“中国国民党人民解放军第1兵团”改编为“中国人民解放军第21兵团”，命令传达后，起义官兵欢欣鼓舞，纷纷用举行演唱会、出墙报黑板报等形式庆贺自己成为中国人民解放军的正式成员。
11月1日，起义部队正式们用“中国人民解放军第21兵团”的番号，四野抽调13名干部组成工作团，于11月初下到该部，与湖南军区工作团一道全面开展整编工作。第一步，对该部队进行了一次全面的考察，掌握了各方面的情况。工作团了解到，这个部队的问题仍然非常严重。全兵团除有个别共产党员外，军官99％以上是国民党员或三青团员；除康朴领导的第232师在起义前与****地下组织有联系外，兵团其他部队与****均无联系，对起义没有思想准备，兵团单位多，官多、随军家属多，兵少，装备整，战斗力弱。多数军官对共产党解放军的政策表示怀疑，对部队前途没有信心。反动的正统观念非常浓厚，士兵普遍对军官不满，对军官贪污腐化、克扣军饷、打骂士兵极为仇视，纷纷要求将军官调离撤换；有些士兵感到当解放军光荣，但同时提出家庭照顾等问题；不少士兵还是担心随时被缴械或编散，担心当杂牌军看待，不能享受与解放军的同等待遇；还有少数人雇佣观念极深，政治上糊涂，认为不管是国民党军，还是解放军，只要待遇好就干，待遇不好就跑。
根据这种情况，整编的第二步，就是有针对性地开展宣传教育。从军、师到团、营、连，层层召开各种类型的会议，反复宜讲整编的意义、目的和方法步骤，使部队统一思想认识。然后在全部队开展民主运动，普遍召开群众大会，分析当前形势，摆出存在的问题，提出改进意见。基本内容是：反对封建正统思想，树立党的领导和政治工作制度观念；清除旧军队的虚伪性，提倡实事求是的优良作风。从而打消了官兵的思想顾虑，调动了他们参加整编的积极性。
第三步，妥善安置编余干部和干部家属。对2500名编余干部，区别不同情况，分别送往兵团干部学校、中南军政大学湖南铲校和湖南军区教导团等处学习。对于不愿继续留在部队的官兵，准其返回原籍，并发给路费；对3885名家属，愿回原籍的发给路费回原籍安置，其余一律安排进工厂做工，各得其所。
在前三步的基础上，进行第四步，1949年12月2日，中国人民解放军第21兵团在驻地浏阳县城隆重举行成立大会。按照新编制整编后的起义部队，陈明仁仁兵团司令员，唐天际任政治委员，文建武（兼参谋长）、王劲修、傅正模、唐生明、魏镇任副司令员，方正平任政治部主任，黄克虎任副参谋长。第1军改编为中国人民解放军第52军，军长王劲修，副政委杨树根，副军长吴林焕，参谋长周志飞，政治部主任钟明彪。下辖3个师，以第1师改编为第214师，师长曾京，政委兼主任蓝廷辉。第2师改编为第215师，师长康朴，政委兼主任江腾蛟。第3师改编为第216师，师长张诚文，政委兼主任曹波生。第2、第3军合并改编为中国人民解放军第53军，军长彭杰如，副军长工振祥，副政委乏振乾，参谋长杨文谟，政治部主任张太生。下辖3个师，以第2军直属队和第4、第5师合并改编为第217师，师长姜和瀛，政委段辉亮。第7师及第9师一部合并改编为第218师，师长周笃恭，政委肖德明。第8师及第9师一部合并改编为第219师，师长何元凯，政委兼主任王根。部队编成后，隶属于第四野战军建制。
兵团司令员陈明仁主持了成立大会，并首先宣读了中国人民革命军事委员会关于成立第21兵团的命令。兵团政治部主任方正平致开幕词。四野的代表、四野政治部副主任陶铸，程潜主任的代表李明灏，****湖南省委代表金明，及四野组织部长杜平、12兵团政治部主任黄志勇，都在会上讲了话，对第21兵团成立表示热烈祝贺。
陶铸在讲话中强调指出：“21兵团的成立有着重大的意义，它全世界、全中国人民宣布，21兵团的全体同志们，在程主任、陈司令员领导下，所走的路是正确的，是光荣的。希望你们更好地学习，彻底地改造自己，进步之上再加进步，真正成为人民国家的忠实捍卫者。”
陶铸代表中央军委向部队授予八一军旗和印章．各级指挥员接过军旗和印章后，由陈明仁和唐天际率领全体指战员举手宣誓，随后，陈明仁作了长篇发言。他首先表示感谢毛主席，朱总司令的正确领导，诚恳接受各位首长的指示，激动地说：
从今天起，我兵团已踏上光明之路，开始了新生！从今天起，我兵团已烃成为中国人民的子弟兵，在中国共产党的领导之下，努力改造，一切都要向其他兵团的解放军看齐！从今天起，我兵团将要成为一支既具有高度政治素质，又具有现代化军事技术的强大军队！从今天起，我兵团将在毛主席、朱总司令的统一号令下，担负起将革命进行到底的任务，并完全站在人民方面，为人民的利益而奋斗。……上级所授蛤我们的旗和印，就是我们兵团整个生命的象征，是极庄严而神圣的。我们要以纯洁的心情郑重地宣誓：我们要在中国共产党，在毛主席、未总司令领导下。坚决执行命令，服从指挥，执行政府法令，遵守群众纪律，爱护人民利益，做到官兵一致，以反对帝国主义、打倒官僚资本，消灭封建势力，忠诚捍卫国家，为建设斩民主主义的新中国而奋斗。
陈明仁讲话之后，唐天际以新任政治委员的身份讲了话。大会最后通过一项通电，向全国宣布第21兵团的成立。
在21兵州成立大会召开之前，为了加强这支起义部队的政治工作，根据四野首长的指示，从12兵团、13兵团、湖北军区、河南军区、****、39军、40军、41军、45军等单位抽调了531名从连到师的各级政工干部，于11月底以前陆续分配到21兵团任职。另外还抽调了82名供给干部分别21兵闭。12月28日，21兵团党委和军、师、团各级党委宣告成立。从此，起义部队在中国共产党的坚强领导下，又进行了进一步的整编。