左宗棠之所以不愿沿用湘军名号，是因为他向来不甘屈居曾国藩之下，决心自辟乾坤。在楚军组建过程中，他也确实总结和吸收了湘军的经验教训，从而使楚军具有一些不同于湘军的特色。
在士兵来源上，左宗棠改变了楚军兵勇的籍贯构成，其所部多为“沅、湘、沣、资之产”，即士兵来自湖南各府县，而不像曾国藩、曾国荃兄弟那样主要招收湘乡籍者。左宗棠认为，曾氏兄弟的招兵方法有很大弊病，“无论一县难供数省之用，且一处有挫，士气均衰”实在不高明。在营官的选用上，曾国藩的选材标准是“第一要才堪治民”，他摒弃旧绿营兵将弁和一般武夫，各营“悉以文员领军”，即所谓“使儒生领农民”。这些封建士人一旦羽毛丰满，就会像左宗棠那样另立门户。因为按照清朝职官制度，文员积功擢升，可由州县、道府、两司而巡抚、总督，自行开府统管一省或数省军政。其实际权位可以很快比肩甚至超过仅有侍郎虚衔的曾国藩。连曾国藩也哀叹这些人‘不肯寄人篱下”，“不愿在鄙人一脚下盘旋”。左宗棠则吸取了曾国藩的教训，在选任营官时是“以勇敢朴实为宗”“多用武人”。在最初的营官中，除亲兵队长张声恒系农村三家村塾师出身外，其他如罗近秋、黄少春等均为湘军勇丁出身，朱明亮为地方团练小武官出身。他们大都是以“骁勇”见长的“武夫”。论官职，最大的是副将，其余是游击、都司、千总等，以后积功升一迁，最高爬到提督，依然归督抚节制，也就只能在左宗棠“脚下盘旋”。唯独营务处（相当于后世的参谋长）由义员主持。正职王开化，系王錱从弟，由他总理全军营务，副职刘典、杨昌浚，都是与左宗棠一样恪守程朱理学的“诚笃廉谨之士”。这是出于管理军队和参谋军务的实际需要，但每遇要事，还须由左宗棠“独断”，权力仍在他这个主帅手里。
楚军在将弁构成上的这个特点，其好处是不致因为部将自立门户而削弱力量。以后左宗棠转战各地，所部皆能随征。但是，其部属后来能晋升高级官职的很少，所以在湘淮系的派系争夺中，左宗棠一系的政治势力最小，致使左宗棠在统治集团内部斗争中常处于寡助无援的境地。在编制上，采取营、总哨、旗等多种形式，新军四营基本上按照旧湘军编制，每营官兵500人；四总哨，每哨官兵320余名；老湘营四旗，每旗官兵360人；另立精锐八队，每队25人，作为主帅的亲兵，又每营旗配置长夫200名，担运军需。楚军的长夫比湘军每营营夫多20人，其目的在于可使军队行动迅速，不致过多地骚扰地方，减少军队与地方的矛盾。各营战后减员时，可随时从长夫中去挑选补充勇丁，以保持军队的战斗力。招募工作一开始，左宗棠就规定，“火勇、长夫等各须一律精壮朴实，毋得以吸食洋烟及酗酒、赌博市井无赖之徒充数。”这些做法，大体上仿照曾国藩创定的湘军营制，又兼采王錱制定的“老湘营”旗制。
这样，楚军就形成了混杂的编制，可以各随其习，各扬其长。此外，关于将弁待遇，营官“坐粮每月二千五百余，行粮每月二千八百，散勇每名每月四两二钱（火勇一钱，长夫一钱），召募成军，每月口食钱每名百文”。召募经费、军装以及一月坐粮、一月行料总计约需银六七万两，均由湖南巡抚拨款。
六千楚军成军后，总管营务由王开化担任，宁乡刘典和湘乡杨昌浚分别担任副手。其实，他们三人正是楚军的开山大将。
杨昌浚（1826—1897），字石泉，号镜涵，又号壶天老人，道光六年（1826年）九月初九出生于湖南省湘乡县神童乡丰乐三十八都。他自幼家贫如洗，其父亲杨仲明是乡村的普通手工艺人。道光十五年，他9岁时母亲病丧。道光二十九年（1849年），杨昌浚往左氏芭蕉山馆拜罗泽南为师，学习程朱理学和武艺。咸丰元年（1851年），他考中生员。
咸丰二年（1852年），太平军进入湖南，他跟随罗泽南在籍组织团练。咸丰四年（1852年）夏天，他跟随罗泽南转战湖北；十月，罗泽南率湘军所部攻太平军于田家镇对岸半壁山，杨昌浚逞勇先登，罗部接连攻下广济、黄梅，杨亦“积功”为训导（县学教官副职）。咸丰六年（1856年），他与刘蓉在家乡办理团防，升教授（府学教官）；这年，他父亲去世，回家守孝三年。
杨昌浚跟着左宗棠干了几十年，为之出了大力气。杨为新编的楚军管后勤，当时湖南已被多年兵战弄得公私尽枯，但左宗棠说，他个人可以节俭，而军队不能缺少花销，官兵的饷俸不能少于湘勇。
湘楚等团练军队的饷源国家全不负责，曾国藩为军饷吃尽了苦头，但湘军的待遇确实很高。绿营军虽是国家的正规军，守备部队每兵月钱一两，作战部队一两五钱，骑兵月俸二两，而湘军士兵月俸六两，将领更高，“将五百人者则岁入三千，统万人者岁入六万金”。左宗棠也想与湘军一般，但很难做到了，由于多年战争，地方上的钱已枯竭了。杨昌浚苦搜苦刮，才给士兵凑足月钱四两多，这个数也不算少了。每月全军的开销也要七八万两，巡抚骆秉章和杨昌浚拼命搜刮，才勉强维持。军队的困难，让左宗棠感到苦楚，也养成了他的勤俭习惯，使他的楚军上下较为廉洁，这也是想贪没得贪的客观现实所造成的。
取得皖南胜利
楚军成军后，拉到城郊金盆岭训练。练兵为了打仗，当时前线正在处处血战，因此左宗棠对新兵的训练很严格，偷懒者重打四十军棍，开小差者斩。紧张训练一个多月后，于咸丰十年八月八日（1860年9月22日），左宗棠奉命率楚军开赴江西。从此他就由幕后指挥策划而杀上了镇压农民起义的第一线。
还在左宗棠招募楚军的时候，太平天国翼王石达开部由贵州进入四川，清廷因左宗棠善于用兵，拟派左宗棠率部入川，阻击石达开。但是左宗棠考虑到楚军刚刚组建，人数不多，而四川军政大权又掌握在总督满洲贵族崇实手中，人地两生，自己“资望既浅，事权不属，欲提数千之众专讨贼之事，是何异以寸胶而救黄河之昏乎”，他决不愿将自己的这点血本白白送掉，特向胡林翼明确表示：“我志在平吴，不在入蜀。”其时曾国藩已实授两江总督，欲留左宗棠相助，自然也不同意派左军入川。胡林翼也认为他们的事业在长江下游，所以写信给左宗棠说：“公入蜀则恐气类孤而功不成”，又写信给郭嵩焘说：“季公得林翼与涤丈左右辅翼，必成大功，独入蜀中非所宜也。”于是，曾、胡等人纷纷陈奏。在这些实力派的反对下，清廷准其按原定方案留在湖南镇压太平天国，改派湖南巡抚骆秉章督办四川军务。
当时的形势急迫，湘军与太平军的战斗达到了白热化，哪一方稍微松懈，都将导致全线瓦解。
自太平军陈玉成、李秀成两员年轻将领统军，咸丰八年八月大败江北大营德兴阿、胜保军，歼敌5000人；随后进军浦口，歼敌万余，破了清军的江北大营。十月，陈、李两军进攻安徽当时省会庐州，在三河镇全歼湘军大将李续宾湘军精锐7000人，光被皇帝加封的官员就被打死400多人。咸丰九年，陈、李两部向皖南纵深发展，占领了皖南所有乡镇。而杨秀清之弟杨辅清部也由福建挺入江西，围攻景德镇，支援皖南，图谋江西。
咸丰十年初，干王洪仁玕、忠王李秀成、英王陈玉成、侍王李世贤等，定下围魏救赵之策，派李秀成兵进杭州，牵动江南大营，然后回师进攻江南大营。
果不其然，这么一打，清军迅速回师江南大营，咸丰十年二月，李秀成兵进杭州，打死巡抚罗遵殿，江南大营分兵救杭州。李秀成回师，与陈玉成、李世贤、杨辅清合攻江南大营，一举攻破，钦差大臣和春、提督张国梁、巡抚王有壬败死。江南、江北大营瓦解，李秀成经营苏南和浙北、陈玉成兵进安徽、杨辅清等回师江西。太平军的战斗，又出现了如咸丰六年前的一个大好局面。
江南大营被攻破之时，左宗棠尚在宿松大营。左、曾对此事有过议论，曾国藩向来喜怒不形言表，只说四五万人马，经营七八年，十多天被毁了，不堪设想呀！
左宗棠却直言：“有何遗憾的！这个脓包早晚要被点穿，早点戳破太好了！”
曾国藩的三角眼直望着左宗棠。左宗棠话既出口便收不住：“江南大营早已腐败不堪，将官贪侵，士兵嫖赌。两江总督何桂清想借之成为中兴名臣，朝廷倚之为干城，却把湘军不当回事。真是蝉翼为重，千钧为轻。如今江南大营覆灭，我看他皇帝老子还依靠谁去！”
曾国藩见他口无遮拦，但所言者却是他心里想的。咸丰帝外怕洋人，内惧汉官，早在六年前，湘军攻克武汉，咸丰已下了谕旨，授他湖北巡抚，未待他写好辞折便又收了回去。
如今江南大营瓦解，何桂清临阵脱逃，咸丰急得寝食俱废，与肃顺商量让谁做两江总督。咸丰说让胡林翼去做，让曾国藩做湖北巡抚。肃顺奏称，六年前已授过他湖北巡抚，然后收回，如今再授之此职，显得皇上恩德不重，不如直接以曾为江督，曾胡二人感情甚洽，二人合作，东南的事一定可以做好。
曾国藩知道内情之后，内心十分愤懑：自己领湘军冲杀这么多年，在四顾无人时，皇帝仍不肯放权给他，宁可把江督授给胡林翼。皇帝对他寡恩如此！自己憋在肚子里，真不如左宗棠骂出来痛快。
曾国藩既得两江总督之位，控制了长江两岸的局面，便让左宗棠率楚军下江西，他专力进攻安徽。
左宗棠也深知，此时是自己乘势而起之时，便听从曾国藩，挥师入江西。
1860年9月末，楚军进入江西。一路与小股太平军接触，打了几个胜仗，11月初抵达景德镇。太平军从南康、赣州挺进景德镇，左宗棠派王开琳率军迎战，三战三捷。太平军再攻德兴，左宗棠派王开化、杨昌浚在香墩埋伏，奇袭得胜，占领德兴。两天后，又在婺源击败太平军，打得德兴、婺源太平军败回浙江。
左宗棠出师实战，尽得全胜。
由于湘军全力攻皖南，包围了陈玉成的驻地安庆。安庆是南京西南的重要门户，据长江中游，扼鄂、豫、苏、浙、赣五省咽喉。太平军为解安庆之围，以陈玉成、李秀成两军沿江西进攻武汉，以便牵动包围安庆的湘军。
但是，曾国藩深知安庆的重要性，他宁可冒武汉被破之险，而绝不撤安庆之围。
于是，在长江两岸，再度出现了血战。这次血战，左宗棠的楚军发挥了很大作用。
“西征”南路大军三十万由李秀成、李世贤、黄文金等将领率带，由苏南、浙江经江西向武汉推进。黄文金数万人一路西进，接连攻克彭泽、昌都、鄱阳。攻克婺源后，左宗棠准备进攻徽州。他见黄文金攻势猛烈，便收兵回守景德镇、婺源、浮梁，堵击黄文金的西进。
黄文金绰号黄老虎，少年即参加太平军金田起义，作战十分英勇，是攻破江南大营的主将之一。12月中旬，黄文金五万人马与楚军战于马鞍山，左宗棠趁其立足未稳，发起猛攻，取得胜利。
黄文金自然不肯认输，整军再战。曾国藩驻守祁门，闻左宗棠与黄老虎大战，知楚军兵力不足，楚军如果失败，黄文金兵进祁门，包围安庆的大计将受到极大影响。
太平军准备再度大举进攻，曾国藩急忙调鲍超部队增援。鲍超是有名的勇将，左宗棠则善于谋略，二人定下一计，由鲍超率部正面出击，楚军守屯，另外派一支人马埋伏后路。1871年1月，性子急躁的黄文金欺楚军兵力单薄，冒着大雪进攻楚军。鲍超性子更急，催军迎战。黄文金只顾迎击鲍军，而其进路突为楚军所阻。鲍军如风雷之势，向黄文金发起攻击，一举歼灭其4000余人。左、鲍率部乘胜追击，连占德兴、广信。楚军这一胜利，使祁门湘军转危为安，曾国藩亦绝处逢生。于是他上奏清廷，为左宗棠表功，“以数千新集之众，破十倍凶悍之贼，因地利以审敌情，蓄机势以作士气，实属深明将略，度越时贤”，“臣在祁门，三面皆贼，仅留景德一线之路以通接济，该逆欲得甘心，赖左宗棠之谋，鲍超之勇，以守则固，以战则胜，乃得大挫凶锋，化险为夷”。清廷下诏给予嘉勉，并提升左宗棠为太常寺卿，改帮办江南军务。
左宗棠成了两江总督军务的副统帅。
曾国藩令他留在江西，防止太平军向皖南增兵，这在军事上称“围点打援”，曾国藩包围安庆一点，左宗棠打击向安徽增援的太平军。
左宗棠在江西的作战突出其战略特点，这就是乐平、景德镇、婺源战后，夏炘为他总结的“得尺则尺，得寸则寸”的特点。夏炘是左宗棠在江西作战中交的朋友，夏经常和左讨论学问和兵法，为他筹粮筹饷。夏炘了解左军的战斗情形，也深知了左氏的作风。左军的作战，扎扎实实，步步为营，艰忍耐苦，既“慎于前攻，亦慎于后顾”。攻下一地则坚决守住，使所取之地不断扩大，由点成面，成为一块巩固的根据地。
夏炘的总结是有见地的。左宗棠在江西的攻守确实如此，他攻下江西重镇，巩固驻守，成为湘军进攻皖南的大后方，为之打击太平军的援军，为之供应粮饷，使湘军战败了皖南的陈玉成军。