抗日战争爆发后，中国共产党同国民党当局达成协议，将江西、福建、广东、湖南、湖北、河南、浙江、安徽8省14个地区的红军游击队从1937年10月起陆续改编为中国革命军陆军新编第四军，闽西南红军游击队改编为新四军第2支队，张鼎丞任司令员，谭震林任副司令员。
1938年4月，谭震林风尘仆仆地来到距皖南重镇屯溪15公里的岩寺新四军军部，新四军军长叶挺、副军长项英得知谭震林的到来，非常高兴，来不及寒暄，副军长项英便代表军部向他宣布了新的任命，谭震林由新四军第2支队副司令员调任第3支队副司令员。第3支队司令员由新四军参谋长张云逸兼任，因为新四军刚刚组建，担任军参谋长的张云逸工作繁忙，难以兼顾第3支队的工作，迫切需要选配一位军事、政治双肩挑的副司令员，协助张云逸。叶挺军长和项英研究后认为，谭震林是最合适人选。
谭震林坚决服从组织决定，从军部告辞后，立即到第3支队报到。
1938年6月初，日军华中派遣军为了控制长江航运线，增援日军对武汉的进攻，命令驻芜湖日伪军加强攻势防御，驻守在这里的国民党军第32集团军部队节节败退。国民党第3战区司令长官顾祝同电令新四军加强与国民党军第32集团军在芜湖一带的防御，谭震林随即命令第3支队接替国民党第144师在这一带的阵地防务。
10月，谭震林率领新四军第3支队两个团与国民党军第144师进行防务交接。谭震林发现，新四军第3支队与国民党第144师、108师构成前三角配置：即第3支队居前，108师的阵地位于右后方，144师的阵地位于左后方，形成两支国民党部队压后，将新四军第3支队紧紧堵在敌阵前的态势，明显暴露出国民党企图借日军之手，消灭新四军的不良居心。
谭震林接防后，迅即调整兵力部署，对日军主动出击，在日军尚未摸清真实情况时，一举收复了红杨树。
10月底，溯江西上进犯武汉的日军为掩护航运，派出一部攻占铜陵县大通镇，转犯青阳县。驻芜湖日军为配合其在大通沿江的“扫荡”，向南陵县进攻。在此情况下，谭震林率第3支队主力一部进抵南陵县，以运动防御打击进犯之敌。10月30日发起战斗，历经6日激战，毙伤日军300余人。这是谭震林率新四军第3支队挺进皖南打的第一仗。
战斗结束后，谭震林率新四军第3支队进驻铜（陵）繁（昌）抗日前线，在铜繁地区建立游击基点，组织短小精悍游击队，在敌之间隙不断袭扰日军，集小胜为大胜。谭震林不断派出小股游击武装，袭击日军沿江据点，破坏敌人江防设施和交通运输线。从1938年底到1940年初，谭震林率部在铜繁抗日前线与日军先后进行200余次大小战斗，取得毙伤日伪军2000余人的辉煌战果，国民党第3战区司令长官顾祝同对“谭支队”袭扰日军的行动给予高度评价。
谭震林十分重视发展地方武装，抗战爆发后，安徽不少地方群众揭竿而起，纷纷组织各种形式的抗日武装。谭震林率第3支队进驻铜繁，了解到在铜陵、繁昌交界地区活动着一支铜陵游击大队，他就主动派人去做工作。经过深入细致的思想工作，游击大队决定接受第3支队领导，改番号为第3支队沙洲游击大队。谭震林又从第3支队选调干部去加强领导，充实游击大队力量，先后派出几名连、排干部，并让一个主力连带领这支游击队打了几次小仗，锻炼了该部独立作战能力。在谭震林的领导和帮助下，该部得到迅速发展，不仅控制了沙洲这块长江南北交通“跳板”，而且还先后支援上百名战士到第3支队，壮大了主力部队。
为加强对这支游击队的领导和控制，谭震林顶住了国民党第三战区的压力，从第3支队派出领导能力强的干部去沙洲任游击队副大队长和政治教导员，从而巩固了部队。以此为经验，谭震林采取各种办法推动地方武装发展，在第3支队的帮助下，芜铜地区先后建立了骆云山游击队、铜陵独立连、大小洲游击中队、宣当芜游击队等。到1939年初，各地游击队已发展到600余人，集中改编为新四军第3支队芜繁游击独立第1大队，不久从大队调出300多人，编入新四军第3支队第5团第1营。在组建地方武装的同时，谭震林还帮助芜铜山区青年农民组织成立自卫队和民兵，繁昌全县有自卫队、民兵1000多人，南陵县建立各种抗日武装2000多人。
随着地方武装的建立，谭震林率领第3支队先后开辟了红花山、五华山、大小洲、保大塘、沙洲等十多个小块抗日根据地，并形成了以繁昌为中心的芜铜抗日游击根据地。谭震林还适时抽调兵力渡江北上，打通了皖南军部与江北新四军的联系，使铜繁地区的抗日斗争在较短的时间里有了很大发展。
战斗期间，谭震林注意政治工作优势，做好统一战线工作。谭震林礼贤下士，登门拜访了不少繁昌地区有影响的知名人士，多次派人持他的亲笔函邀请铜陵、南陵等地的开明士绅，到3支队司令部驻地参加座谈会，商谈团结抗日大事。1939年4月，谭震林和新四军政治部副主任邓子恢以及第3支队政治部主任胡荣，在繁昌县召集部队驻地铜陵、南陵、繁昌3县县长、国民党特派员、区联保主任、县区动委会负责人、青工队长和自卫队长等130余人参加座谈会，谭震林宣传中共的统战政策，表达了新四军抗战到底的决心，与会者深为中共抗日主张和新四军抗战事迹感动。国民党繁昌县长在发言中强调“我在沦陷一半的繁昌主政，主要是依靠新四军的支持和帮助”。他在发言中一再表示“要精诚团结，坚持抗战，动员民众配合新四军作战”。在同年11月的繁昌大战中，这位县长果然没有食言。他带领县政府的科长、秘书、动委会的干部上火线慰劳新四军，组织人员送水做饭，照料新四军的伤病员。谭震林把军事工作与政治工作有机结合，促进了抗日民族统一战线的巩固和发展。