在徐向前到山东之前，山东的抗日斗争已经有了一个很好的基础。6月上旬，他们到达沂蒙山区的代庄，受到了山东分局书记郭洪涛、山东纵队司令员张经武、政委黎玉的热忱欢迎。
徐向前等人一到山东，就遇上了日军的一次大扫荡。日军2万余人以津浦、胶济、陇海路东段及烟(台)潍(县)公路要点为出发地，兵分十路，合击我沂蒙山区腹心地带。驻扎在莒县、沂水、蒙阴等地的国民党军队，闻风而逃。敌人"扫荡"的巨大压力，全由共产党领导的抗日根据地军民承担。徐向前来不及了解各根据地的情形，便全力投入到指挥反"扫荡"的紧张斗争中。
反"扫荡"结束后，徐向前和朱瑞开始着手统一建制，健全领导机构。8月初，经中央批准，正式组成八路军第一纵队，徐向前任司令员，朱瑞任政治委员，统一指挥山东和苏北的八路军部队。原苏鲁豫皖分局改为山东分局，由郭洪涛、徐向前、朱瑞、罗荣桓、黎玉、张经武、陈光、彭雪枫组成，郭洪涛任书记。继而成立山东军政委员会，朱瑞、徐向前、郭洪涛、罗荣桓、黎玉为委员，朱瑞任书记。
坚持独立自主的敌后游击战争，巩固和发展抗日根据地，离不开建立抗日民主政权。而山东的抗日游击战争，在这个问题上却是个薄弱环节。徐向前刚到山东的时候，感触最深的是吃饭问题，"叫化子要饭"，部队走到哪里，要到那里，吃了上顿没下顿。因为自己没有政权，不能顺利地筹粮筹款，几万部队的穿衣、吃饭、医药、装备等，很难解决。于是，徐向前和山东的其他领导同志一起，运用多种形式，迅速开展了建立抗日民主政权的斗争。1940年底，在莱芜、新泰、蒙阴、沂水、平阳、泰安等县建立抗日民主政权90多个，设有一个行政主任公署，14个专署。有了政权，根据地巩固发展起来了。国民党的一些官员和将领不禁惊呼："共产党真厉害呀！"徐向前在山东工作整整一年。一年中，他为发展抗日根据地，进行了艰苦的努力工作，指挥八路军进行大小战斗200多次，消灭日伪军4500多人。八路军和敌后游击战争有了很大发展。
1940年6月，徐向前率领出席党的七大的代表四五十人，经过200多天的艰苦跋涉，于1941年元旦前夕到达延安。
毛泽东很快接见了徐向前。徐向前向毛泽东汇报了山东的情况，并转交了朱瑞写的一封长信。毛泽东听了很高兴，最后告诉他，七大日期还未定，让他先休息，抽空给大家介绍介绍敌后的情况。
1941年3月，党中央又派一批干部去山东，徐向前去为他们送行。路上，不幸被惊马踢伤，左腿胫骨骨折，被送往医院。
伤还没完全好，徐向前就被任命为陕甘宁晋绥联防司令部副司令员兼参谋长。他和司令员贺龙、政委关响应等同志一起，为保卫党中央和陕甘宁边区而努力工作。
1943年春，徐向前又出任抗日军政大学校长。毛泽东找他谈话。徐向前表示难以胜任，还是愿意到前方去打仗。毛泽东说：向前同志，你是师范生、黄埔生，又有作战经验，办学校有什么困难的？决定你去就去吧，将来有的是仗打，我们还要总反攻嘛！你去了先抓组织，搞个核心领导小组，具体工作叫何长工他们管。
毛泽东还把抗大的任务概括为八个字，"培养干部，准备反攻"，并提出了三条要求：第一，思想教育是中心环节。组织学员认真学习整风文件，提高马列主义水平，克服个人主义、自由主义、主观主义、教条主义等倾向，同党一条心，而不是半条心。第二，自己动手，克服困难。教职员工有好几千人，要吃要穿要住，怎么办？应像边区部队一样，自己挖窑洞，种粮、种菜，纺线、织布，边学习，边生产。自力更生，任何困难也难不倒我们。第三，审查干部，巩固内部。主要是清查内奸，保持干部队伍的纯洁性。毛泽东还强调，教学要采取启发式，反对注入式。这些，就是我们的基本工作方针。
在延安期间，徐向前参加了整风学习和大生产运动。
1944年7月，徐向前突患肋膜炎住进医院。1945年4月，党的七大召开，他缺席当选为中共中央委员。他在病中迎来了抗日战争的胜利。
抗日战争胜利不久，蒋介石就发动了内战。1946年11月，党中央作出暂时放弃延安的决定。徐向前因病和徐特立、王明、郑位三等一起疏散到绥德。
病中的徐向前，心系战场。解放战争的隆隆炮声，深深地激荡着这位曾经为新中国的诞生而浴血奋战的统帅。他无论如何不能安静地呆在后方。他和已有身孕的夫人黄杰商量，要到太行前线去。黄杰是1928年入党的老同志，完全理解徐向前的心情，支持他去前方。于是，他向党中央写了报告，要求去晋东南。
党中央接受了徐向前的请求。1947年7月，正式任命徐向前为晋冀鲁豫军区第一副司令员。当时，军区司令员刘伯承、政治委员邓小平已受命率主力部队南移邯郸，准备挺进大别山。徐向前和军区副政委薄一波、副司令员滕代远一起，担负起内线作战，解放山西的任务。
徐向前带病出征，来到山西，首先打下运城。接着，又取得了临汾攻坚战的胜利。
临汾战役，为解放军攻坚作战取得了宝贵的经验，毛泽东称赞这"是一个很有意义的大胜利"。党中央发来贺电，勉励部队"为消灭全部敌军解放华北而奋斗！"临汾战役尚在进行之际，徐向前就筹划了晋中战役。临汾战役一结束，徐向前就坐着担架，率6万之师，北上晋中，从攻坚战转向运动战。
在徐向前的指挥下，晋中战役历时一个月，歼敌10万。敌前线总指挥赵承绶，这位徐向前当年的同学，一下子成了徐向前的俘虏。
在后来的西柏坡会议上，毛泽东让他讲讲是如何以6万精兵消灭敌人10万的，徐向前只是谦虚地笑笑，说："是按主席的指示呀！"毛泽东笑着摇摇手。
晋中战役结束后，徐向前病情更严重了，每餐只能吃少许麦片之类饮食。医生的结论是：病情到了"极点"，要他至少静养3个月。
徐向前重任在肩，只休息了20多天，又来到太原前线，担负起指挥攻克阎锡山的最后一座"要塞城市"---太原战役的任务。
太原战役，先是外围战，接着是四大要塞争夺战。
徐向前常常坐着担架，有时拄着拐棍，一个山头，一个阵地地走。周恩来亲自安排医生到太原前线为徐向前治病，并要他"静养"。徐向前仍然日夜为战局操劳。有时在病床上，还参与一些重大决策。
1949年4月25日，太原解放。徐向前又忍着病痛，率指挥部进驻太原，兼任军事管制委员会主任。
徐向前为家乡的解放立下了不朽的功勋。
五、共和国元帅
1949年10月1日，中华人民共和国终于在隆隆的礼炮声中诞生了。徐向前没能出席开国大典。此刻，他正在青岛海滨养病。然而，他的心和全国人民一样，无比地激动、欣慰！10月19日，他被任命为中国人民解放军总参谋长。由于身体关系，他只能参与一些中央和军委工作的重大决策。总参谋长一职由聂荣臻代理。
1951年春，徐向前的身体有了明显的转机。5月，他就受命率"中华人民共和国中央人民政府兵工代表团"，赴苏就抗美援朝和人民解放军现代化建设的武器装备，与苏联谈判。
当经过5个多月的工作，徐向前胜利完成任务归国的时候，他又生病了。列车刚进满洲里，他就肋膜炎复发，住进长春空军医院。此后多年大病不愈，仍然坚持为党和军队的建设努力工作。
1954年9月，中共中央决定成立党的军事委员会，主席毛泽东。徐向前为军委委员。
虽然身体不佳，他仍然坚持参加军委的会议，和其他老帅一起，为军队的现代化正规化建设操劳。他还兼管空军、防空军的工作。
1955年9月，徐向前被授予中华人民共和国元帅军衔和一级"八一"勋章、一级独立自由勋章、一级解放勋章。
从1963年起，军委分工徐向前主管民兵工作，1964年正式任命为军委人民武装委员会主任。副主任是张云逸、彭绍辉、傅秋涛同志。傅秋涛是总参动员部部长兼秘书长，日常工作由他和动员部负责。
"兵民是胜利之本"。徐向前从长期的战争实践中深深认识到这是一条真理。60年代前期，美国和苏联对我国的军事威胁在不断加强。美国的侵越战争，不断升级。中苏两党的分歧，愈加尖锐化、公开化，苏联在中苏边界不断增兵。在这种情况下，徐向前认为，我们的备战和民兵工作，绝不能有丝毫的松懈和削弱。他不但听汇报，看材料，还带人去广东、浙江等地，调查研究，解剖"麻雀"。根据毛泽东和中央军委的指示，徐向前把贯彻三落实(组织、政治、军事)，作为民兵工作的中心任务和建设方向。
"文化大革命"的风暴在全国掀起的时候，徐向前和许多老同志一样，缺乏准备，很不理解。但有一条很明确：军队和地方不同，军队不能乱。这一点他和军委秘书长叶剑英等老帅是一致的。面对着军队院校和机关开始出现的动乱局面，徐向前十分担忧。
1966年11月13日，北京工人体育场召开军队院校和文体单位来京人员的10万人大会。陈毅、叶剑英对许多"左"的错误提出了严厉的批评。徐向前在讲话中指出："我们的陆、海、空军必须经常保持战备状态，随时准备对付敌人的突然袭击，做到一声令下，立即行动。""一刻也不要忘记我们周围还存在着强大的敌人，我们必须经常保持高度的警惕，不容丝毫的松懈。"1967年1月，徐向前担任全军文革小组组长。面对着愈加混乱的局面，他更是忧心如焚。几次打电话给林彪，林彪都不见。实在憋不住了，他干脆去"闯宫"，直接趋车往林彪住地毛家湾，向林彪陈述军队的混乱状况，提出要搞几条规定，如不能成立战斗组织、不能随意揪斗领导干部、不准夺权等。林彪一方面鼓吹"乱"，以便乱中整倒一些人，同时又不敢使军队大乱特乱。"他是国防部长，主持军委工作，军权在握，军队大乱特乱，向毛主席交不了账，对他不利嘛！"在徐向前的努力下，并最后在毛泽东的支持下，1967年1月28日，中央军委发布《命令》(习惯上称《八条命令》)，其基本精神是坚持党对军队的领导，保持军队的稳定。《八条命令》对当时的混乱局面起到了遏制作用。其后，徐向前又投身到正义凛然的二月抗争之中。
徐向前终于在劫难逃。批判、抄家、流放，厄运接踵而至。夫人黄杰，一个大革命时期参加革命，几十年对党忠心耿耿的老党员，被诬陷为"叛徒"。
林彪反革命集团败露后，毛泽东在接见八大军区司令员时，紧握住徐向前的手，说："好人，好人！"心情激动。毛泽东在斗争中认识了林彪，也认识了徐向前这些真正对党和人民赤胆忠心的老帅们。
粉碎"四人帮"后，国家结束了一场灾难，徐向前又开始了新的生活。1976年，他和邓小平、叶剑英、聂荣臻几位军委副主席一起，担负起领导新时期军队建设的重担，为人民解放军的革命化、现代化、正规化建设日以继夜地工作。
1990年9月20日，解放军总医院六病室传出噩耗：徐向前因病逝世。中国共产党失去了一位伟大的忠诚战士，人民解放军陨落了一颗璀璨的帅星。
临终前，徐向前对儿女们说："我说不了多少话，我要说的是，我死后一不搞遗体告别，二不开追悼会，三把骨灰撒在大别山、大巴山、太行山、河西走廊。
这就是我留给你们的遗言。你们要永远跟着党走，贯彻党的路线，言行一致，说到做到。"在告别人世的时候，元帅想到的是他当年征战的战场，是当年战场上的战友和人民。
中共中央、全国人大常委会、国务院、中央军委的讣告指出："徐向前同志在创建红军、开展武装斗争和开辟鄂豫皖、川陕革命根据地的艰苦斗争中，表现出非凡的组织领导和军事指挥才能，为党建立一支英勇善战的主力红军作出了贡献。长征中，红一、四方面军会师后，任红军前敌总指挥部总指挥，积极拥护中央北上创建川陕甘根据地的战略方针，反对张国焘的分裂活动，为维护党和红军的团结作出了特殊贡献。
会宁会师后，中央军委指示，红四方面军一部西渡黄河，执行宁夏战役计划，后奉军委命令，任西路军军政委员会副主席兼西路军总指挥，率部继续西进，与敌血战河西走廊，有力地策应了河东红军的战略行动。"讣告指出，抗日战争时期，徐向前"先后任中共中央革命军事委员会委员，八路军第一二九师副师长，八路军第一纵队司令员，陕甘宁晋绥联防军副司令员，抗日军政大学校长。他与刘伯承、邓小平等一起领导开辟晋冀豫和冀南抗日根据地；统一指挥山东和苏北、皖北八路军各部队，坚持和发展敌后抗日游击战争；培养了一大批抗日军政人才。解放战争后期，先后任晋冀鲁豫军区副司令员，华北军区副司令员兼第一兵团(后改为中国人民解放军第十八兵团)司令员兼政治委员，太原前线司令员兼政治委员，中共太原前线总前委书记，指挥了运城、临汾、晋中、太原战役，山西获得完全解放。"讣告指出："徐向前在长期的革命战争中，运筹帷幄，指挥有方，智勇兼备，果断灵活，善于以弱敌强，以少胜多，运动歼敌。为夺取革命战争的胜利，创建中华人民共和国立下了不朽的功勋，以自己的战争实践和理论，为丰富毛泽东军事思想作出了重要贡献。""他为巩固国防、建设现代化正规化的革命军队和建设民兵、预备役力量呕心沥血，作出了卓越的贡献。"元帅虽然逝去，然而元帅的功绩、韬略、风范，却长留人间。