直、皖双方如此尖锐对立，给张作霖的调停带来了极大困难。但他似乎并不气馁。从保定回京后，张作霖仍继续同各方协商，企图找出一条生路。他认为，靳云鹏内阁能否复职的关键，在于能否真正实现内阁的局部改组和安福系三阁员出阁。张作霖将此意见托参谋总长张怀芝转告段祺瑞，并再次亲赴团河，企图说服段祺瑞赞成这一办法。但段祺瑞除表示同意靳云鹏继续担任阁揆外，拒绝了让安福系三总长下野等倡议。他坚持，即使内阁改组，安福系至少必须保留财政、交通两席。财政、交通两总长职位是安福系最大的财政来源，安福系当然死抱住不放。
张作霖的主张不但得不到段祺瑞的赞同，也不为靳云鹏所接受。靳云鹏深知处在直、皖两系的夹攻中滋味难受，干脆推荐他人组阁。他的意见是让周树模出来组织新内阁，他本人愿在新内阁中继续担任陆军总长。
北京这边，张作霖的调停毫无进展，而保定那边，却连连催逼。6月25日与27日，保定方面连续致电张作霖与徐世昌，要求对内阁及时局问题从速解决，至少必须先办妥一两件事，以安军心。保定方面还坚持，除靳阁复职，撤免安福系三总长外，还必须裁撤徐树铮的筹边使，将边防军交归陆军部管辖。与此同时，曹锟、吴佩孚等还公开发表了《直军致边防军西北军书》，集中火力攻击徐树铮：“安福系跳梁跋扈，殆甚于阉宦绍王当，而指挥安福系祸国者，惟徐树铮一人，我昂藏七尺男儿，讵甘心供其驱使耶？”“此次直军撤防，原为扫除殃民祸国之安福系及倡乱卖国之徐树铮，对于先进泰斗，同气友军，毫无挟带恶感及并峙对乱行为。”此处所说的“先进泰斗”指的是段祺瑞。直系所采取的是古代常用的“清君侧”的办法，不公开反对段祺瑞，而反对段祺瑞周围的小人，即徐树铮与安福系。张作霖用的也是这种策略，目的是对皖系控制的军队进行分化。
由于保定方面的催逼，张作霖又前往团河，正式向段祺瑞提出免去徐树铮职务问题。可段祺瑞却含糊其辞，表面上答应可以考虑，实际上却为徐树铮和安福系辩护，抵制直系的要求。他对张作霖说：“安福之坏，我已知之，我非安福，君亦知之。偌大政党，难保无不良分子，无可讳言。徐树铮得罪人，我亦知之，我对于国家，始终以直道，绝无权利之私，现在惟望徐总统收拾时局。”其实，徐树铮也好，安福系也好，都是秉承段祺瑞的旨意行事的，要段祺瑞自斩羽翼，无异与虎谋皮。
后来，张作霖考虑到靳云鹏坚决不肯复职，并力荐周树模组阁，又于6月28日去团河见段祺瑞，好不容易与他达成了一个妥协方案，大致内容是：解散旧阁，靳云鹏不再复任总理，安福系三总长也同时下野，双方各得其半；由周树模组织新内阁，除财政、交通、司法三总长易人外，其余如内务、海军两部不动，外交、农商、教育三部补提，靳云鹏仍任陆军总长。对徐树铮的免职，边防军，西北军的归属问题，段祺瑞同意作表面形式上的让步，即边防军、西北军归段祺瑞节制，徐树铮的筹边使仍保留。在这一妥协方案得到徐世昌认可后，张作霖将其内容电告保定方面。曹锟、吴佩孚等人的答复是：由谁组阁的问题“悉凭元首主张”，但筹边使官制必须取消，徐树铮的兵权必须解除，安福三总长必须罢免。保定的电文还说，民国6年，段祺瑞曾联合各军，向黎元洪兵谏，如今，保定方面不过是效法当年段祺瑞之所为，向段祺瑞兵谏而已，且均是为国，毫无私意。与此同时，安福系政客于6月29日在太平湖集会，也对上述妥协方案提出异议，声称如周树模组阁，安福系无论如何必须保留财政、交通两部，否则就坚决反对。
6月30日，张作霖再赴团河，将保定方面的意见转告段祺瑞。但段祺瑞的态度很强硬，坚决不接受，正色厉言道：“调停政局，乃极好之事，惟吴佩孚以一师长干预政事，要挟条件，此风一开，则中央威信扫地。”见段祺瑞毫无通融余地，张作霖知调停已走到绝路，遂向段祺瑞表示，不愿再当调停人，准备即日离京返奉。当天晚上，张作霖去徐世昌处辞行，徐世昌因已就寝，未能见他，但传谕请张作霖务必不要离京。第二天，徐世昌又坚决挽留，段祺瑞等也担心张作霖一走，局势发展于己不利，故亦托人劝挽，并表示：“诸事尚有磋商余地。”张作霖这才答应留下继续调停，但声明他不可久居北京，调停只能以五日为期，届时仍不能解决，他将卸责不管。
7月1日，安福系再度开会，决定改变策略，以攻为守。他们向徐世昌提出，一是请段祺瑞组阁，二是要求惩办吴佩孚。安福系妄图以此抵制直系的进攻。安福系声称，如这两条能办到，则徐树铮可以解职，安福系也可解散，三总长亦愿意辞职。显然，安福系玩的是“丢卒保帅”之计。他们私下认为，只要由段祺瑞组阁，皖系和安福系的利益就能得到维护。
然而，徐世昌却不愿看到安福系的计谋得逞，抢先一步，于7月2日发表批准靳云鹏辞职命令，同时将总统关于提名周树模组阁的咨文，送至众议院。徐世昌这一着是同张作霖商量后采取的，目的是破坏安福系拥段组阁的图谋，同时也为罢免徐树铮做准备。徐世昌和张作霖均以为，先免靳云鹏，再撤徐树铮，可以堵皖系的嘴巴。
但徐世昌和张作霖要实现自己的计划，也不那么容易。一则，皖系坚决反对由周树模组阁；二则，周树模本人在如此剑拔弩张的形势下，也不肯出面组阁；三则，保定方面也认为，周树模组阁解决不了问题。曹锟、吴佩孚等人的目标，是要解散安福系，免掉徐树铮。北京免靳云鹏的命令下达以后，曹锟、吴佩孚立即致电徐世昌，认为西北军不移归陆军部节制，祸根尚在，“归段统率，与归徐统率一也”，实际上是换汤不换药。7月3日，曹锟又公开发表了一封通过张作霖转致徐世昌的电报，强烈要求立即撤罢徐树铮的职务。该电说：“安福奸党，倒行逆施，天人共愤，迭经中央申明法纪，迄未奉准。今闻彼党益无忌惮，竟欲拥段组阁，贯彻亡国主义，是皆徐树铮等之鬼虫或伎俩。三军将士倏闻之下义愤填膺，甚有直向神京歼此丑类之势。幸请大总统刚断，先行罢免徐树铮各职为入手办法，以平众怒，否则锟实无法排解，惟有不负维系之责。”
张作霖本是坚决反对徐树铮的，只因他处于调停人地位，不便公开表态。此时，见各方态度均已十分明朗，他也决定公开反徐。7月3日，张作霖和曹锟、李纯联名发出讨徐通电，宣布了徐树铮“祸国殃民”“卖国媚外”“把持政权”“破坏统一”“以下弑上”“以奴欺主”等六大罪状，并声称要“为国除奸，义无反顾”，等等。
徐世昌早就对徐树铮不满，只因慑于皖系实力，不敢动徐。现在既有张作霖、曹锟、吴佩孚等人撑腰，顿时壮了胆气。7月4日，徐世昌在总统府召集特别会议，决定免除徐树铮之职。当天，即公布了三道命令：一是特任徐树铮为远威将军；二是免去徐树铮的西北筹边使，作为远威将军留京供职，由李垣暂时代理西北筹边使；三是裁撤西北边防总命令一职，所辖军队由陆军部接收办理。就这样，徐世昌以授予徐树铮“远威将军”之虚衔为由，免掉了他“西北筹边使”“西北边防军总命令”两项重要实职。
皖系和安福系，特别是徐树铮本人，岂肯善罢甘休，轻易交出兵权。何况，凭徐世昌的一纸命令，也不可能就此剥夺徐树铮和皖系的兵权。徐树铮认为，徐世昌此举，并非针对他一人，而是助直排皖。因此，免职令公布的当日，徐树铮便到团河向段祺瑞哭诉：“树铮之滥借巨款，编练重军，甘为天下之不韪，无非是为督办计耳。今总统惑于佥壬，免去树铮之职，是欲排去皖系也。排皖系，即所以排督办。树铮一身不足惜，其如督办一身之威名扫地何？”这里所说的督办，即担任边防督办的段祺瑞。段祺瑞经此一激，自然压不住心头怒火，气冲冲地说：“吾与东海（徐世昌字东海）有数十年之交好，故于改选之时，愿与河间（冯国璋字河间）同时下野，而以元首之位让之。何意彼年老昏聩，竟出此非法之举动。彼既不念前情，老夫亦顾不得面子，今日誓不与之甘休！”段祺瑞终于下决心要同徐世昌摊牌，同直系拼个鱼死网破了。第二天，7月5日，段祺瑞以“边防督办”的名义，下令对边防军和皖系控制的其他军队进行紧急动员，准备对直战争。
在煽动段祺瑞动武的同时，徐树铮还秘密策划了一个杀害张作霖的阴谋。他见张作霖名为“调停人”，实则助直反皖，尤其是与他本人敌对，对张作霖恨之入骨。7月5日，徐树铮装出若无其事的样子拜访了张作霖，并以段祺瑞的名义，请张作霖再到团河，与段祺瑞会商善后办法。他想重演1918年在天津谋杀陆建章的故伎，将张作霖骗至团河后杀害。
张作霖不知是计，遂于7月7日应约再到团河，与段祺瑞见面。会见进行中，徐树铮以接电话为名将段祺瑞叫出，告知其刺杀张作霖的计划。段祺瑞毕竟比徐树铮老谋深算，也不似徐树铮那样不择手段，而要考虑后果，故犹豫不决。当段祺瑞带着不安的心情返回座席时，机警过人的张作霖，立即看出了段祺瑞的神色异常，知道大事不好，必须立即离开此危险之地。于是，张作霖借口出恭，进了厕所，然后由厕所偷偷溜出，驱车急赴车站。此时已是7月8日午夜1时左右。张作霖逃走后，徐树铮企图令驻廊坊驻军截击。但张作霖已得靳云鹏密报，连夜微服乘货车离京赴津，徐树铮的计划落空。徐树铮曾为此顿足叹惜：“大事去矣！”而张作霖经历了此次惊险，返回奉天后，一下火车就慨叹道：“我又回来了！”
至此，张作霖的调停完全失败，他做了十几天的调停人，费了很大的劲，结果却徒劳无功，还差一点将老命也搭上。尽管张作霖在调停中不无偏袒直系之心，但“调停”的失败并非他的责任。直、皖两派早已势成水火，决非调停所能解决。
在直皖相拼中渔利
张作霖“调停”失败，被迫离京的当天清晨，段祺瑞便由团河入京。上午，他就在将军府召集了由近畿各军重要长官及国务员、参谋总长、卫戍司令、步军统领、警察总监等百人参加的军事会议。会上，段祺瑞发表措词强硬的讲话，一方面斥责曹锟、吴佩孚，要求北京政府将其撤职查办，另一方面公开宣布要进行所谓的“兴师讨逆”。段祺瑞说：“国家以纲纪为重，纲纪不振，则国不存。吴佩孚受贿通敌，无故撤防，以至湖南失败，涂炭生灵。撤防后又在保定兴风作浪，逆迹昭彰。曹锟竟敢以兵力要挟元首，胁迫中央，为种种破坏法律之主张，且要求下令免徐之职。徐使此次收回外蒙，厥功甚伟，并未用中央之款项而收回数万里之疆宇，曹、吴等则要求元首罢免徐使，法纪荡然，是非不明。鄙人为维护国家纲纪及维持元首威信起见，不得不兴师讨逆。现拟呈请大总统将曹锟、吴佩孚、曹钅英褫夺官勋，交祺瑞拿办。现已入军事范围，如有不听命令者，当按军法从事。”段祺瑞讲完之后，安福系的政客曾毓隽立即起来响应说：“现时我等惟当知有督办，不当复问政府，督办此言，当一致赞成。”其他与会者亦纷纷表示赞同。会议当即作出决定，并拟出要求徐世昌惩办曹锟、吴佩孚的呈文，由段祺瑞签名，各军官副署后，交代理内阁总理萨镇冰转呈徐世昌。会上，段祺瑞还宣布，任命段芝贵为京师戒严总司令，吴炳湘为副司令，他自任所谓“定国军”总指挥，徐树铮为总参谋长。会后，段祺瑞又发表了声讨直系的通电。
实际上，在召开这次会议之前，徐树铮已在调兵遣将，安排进攻直军的军事部署。他密令驻洛阳的西北军两个旅牵制吴佩孚的军队；密电皖系干将吴光新从湖北调部队到河南信阳，与北方皖军遥相呼应；命令曲同丰所部边防军第一师向长辛店开拔。他还通过陆宗舆、曾毓隽等人分别从中日汇业银行、交通部取出现款300万元，充作军费。在7月8日的军事会议之后，段祺瑞又回到团河，进一步讨论了出兵计划，决定派出五个师，以曲同丰的边防军第一师为第一线，以刘询所部陆军第十五师、陈文运的边防军第三师、李进才的陆军第十三师、魏宗瀚的陆军第九师分别为第二、三、四、五线。7月9日，边防军第三师开赴廊坊，第九、十三、十五师则向卢沟桥、长辛店、良乡、窦店、房山、琉璃河一带进发。
在进行军事部署的同时，皖系开始对徐世昌施加压力，迫其按照段祺瑞等人的旨意惩办曹锟、吴佩孚。段祺瑞等人的呈文送达总统府之后，徐世昌随即召集全体内阁成员开会讨论。起初，徐世昌不同意惩办曹、吴，后经安福系政客曾毓隽等一再施压，徐世昌勉强答应免吴佩孚一人职。曾毓隽等人仍不放松，一定要徐世昌也在罢免曹锟的命令上盖印，并说：“总统只管盖印好了，一切皆有段合肥负责。”徐世昌曾派人至团河谒见段祺瑞，征询缓和办法，但段祺瑞态度强硬，根本不把大总统放在眼里。他明确表示：“非将曹锟免职，吴佩孚惩办，曹锟交法庭，不能缓和。”段祺瑞还威胁说：“总统免曹吴职与否，彼亦自有权衡，我不便干预，亦不必干预。纵彼不下令，我岂不能免曹吴而拿办之耶？”在段祺瑞的强大压力下，徐世昌无可奈何，只好将内阁呈送惩办曹、吴之命令誊印发表，但声明自己不承担意外之责任。该命令说：“前以驻湘直军疲师久戍，屡次吁请换防，当经电饬撤回直省，以示体恤。乃该军行抵豫境，逗留多日，并自行散驻各处，实属异常荒谬。吴佩孚统辖军队，具有责成，似此措置乖方，殊难辞咎，着即开去第三师师长署职，并褫夺陆军中将原官暨所得勋位、勋章，交陆军部依法惩办；其第三师原系中央直辖军队，应由部接收，切实整顿。曹锟督率无方，应褫职留任，以观后效。”
这个惩办曹锟、吴佩孚的命令，不啻是皖系对直系的宣战书，直系当然不能不应战。在此命令发表前，驻河南的吴佩孚军已经向北开拔，其前锋已达高碑店一带。曹锟的军队也由保定开赴高碑店，准备应战。惩办曹、吴的命令发表之后，保定方面更是激愤。7月9日，曹锟在天津举行了誓师典礼，将所部命名为“讨逆军”，设大本营于天津，设司令部于高碑店，派吴佩孚为前敌总司令兼西路总指挥，曹钅英为东路总指挥，另派第一混成旅旅长王承斌驻郑州为后路总指挥。
当直、皖两派厉兵秣马，准备火并之时，作为直、皖之外的一支独立力量，张作霖及奉系的态度不但备受直、皖两方的关注，也为全国各界所注目。在直、皖最初的争论中，张作霖曾标榜中立，以“和事佬”面目出现。尽管张作霖的“中立”和“调停”实际上有所偏向，但他毕竟没有公开宣布助直反皖。调停失败，张作霖离京后，表面上虽宣称继续中立，但助直反皖的立场却日趋明显。7月8日，张作霖在军粮城下车后，随即赶到天津，与曹锟、吴佩孚等人举行了紧急会议。曹锟在会上表示担忧，认为战事一开，直隶首当其冲，如不能获全胜，徐世昌势必“受段之要挟，乘风转船，加以叛乱的罪名，则直隶危矣”。但吴佩孚却信心十足，认为取胜没有问题。他分析了直、皖双方的形势和力量对比，指出：“就实际上论，段派所恃者仅边防军，该军成军以来，未经战阵，经验缺乏，且闻所用军官多系学生，颇有思想，决不肯效忠奸党，与同胞为难，一临战地，溃散立见。”吴佩孚还说，仅他所率领的军队，就足以挡段祺瑞全部之众而有余，“即万一战而不胜，我军抢夺京汉路线，联合西南，以直隶为前敌，河南为中坚，湘粤为后盾，徐图进取，更有张巡阅使控制东北，则段派直如瓮中之鳖，又何虑哉！”经吴佩孚这么一说，曹锟有了信心，张作霖也觉得吴佩孚的话有理，表示赞同。从这次会议的情况看，张作霖虽然并没有明确表示奉系如何动作，但在心里，他已决定站在曹锟、吴佩孚一边，与直系共同倒皖。
在张作霖看来，直、皖相拼，正是自己从中渔利的好机会，不能放过；而直、皖虽未开战，然胜券显然已为直方所握。张作霖认为自己介入直皖战争比不介入有利，助直比助皖对自己更有好处。
正是出于上述考虑，张作霖回到奉天之后，立即召集吉林督军鲍贵卿、黑龙江督军孙烈臣、奉军总司令张景惠及师长吴俊升、张海峰等人开会，作出了出兵关内、助直反皖的军事部署。张作霖决定，从二十七、二十八师中各抽一旅以保护关内京奉铁路为名入关，另以巡阅使署卫队旅一部协同二十八师留奉部队保护关外京奉路。7月11日，张作霖正式下达了出兵的动员令。
为了师出有名，在下达出兵动员令的当天，张作霖先后给段祺瑞连发了两份电报，在电报中，他一方面仍表示尊重段祺瑞，称“督办光明磊落，中外敬仰”，另一方面则斥责徐树铮之所为。他说：“此次在京，备悉奸人百计害我三省。作霖忍无可忍，誓将亲率师旅，铲除此祸国之障碍，以解吾民之倒悬。”张作霖所说的奸人就是徐树铮。徐树铮为了拆张作霖的台，曾派人带巨款潜出关外，收买土匪，企图扰乱东三省的治安。但所派之人一到东北，很快就被张作霖的部下捕获。张作霖为此大为恼火，故他在给段祺瑞的电报中亦直言不讳地说：“不久前，奉天捕获姚步瀛等行迹可疑分子十三人，彼等携带十二万元活动费由北京来奉天，据供认旨在图谋于土匪中间活动闹事。盖此事并非督办之本意，必是左右小人唆使而为者。余今率兵陆续进京，目的在清除督办左右之小人，至于督办乃余平素最尊敬之人，不敢有犯侵之意。”
尽管张作霖采用的仍是“清君侧”的策略，但其助直反皖的弦外之音不言自明。到了此时，段祺瑞已清楚意识到张作霖已放弃“中立”。他一度有所后悔，曾敦请徐世昌于7月14日下了一道停战令，要求“所有各路军队均应恪遵命令，一律退驻原防，戮力同心，共维大局”。然而，一切为时太晚。直、皖双方均已箭在弦上，不得不发。就在徐世昌颁发停战令的当天，战争打响了。
直皖战争期间，双方直接参战的兵力均在五六万左右。皖系出动的军队主要为边防军第一师曲同丰所部1.1万人，边防军第三师陈文运所部1.1万人，陆军第九师魏宗瀚所部8千人，陆军第十三师李进才所部8000人，第十五师刘询所部8000人，西北军第二混成旅宋子扬所部8000人，边防军训练处学生队约3000人，共约5.7千人。直系动员的军队则有吴佩孚所部第三师1.1万人和第二、三混成旅1.6万人，一个补充旅6000人，曹锟卫队3000人，直隶警备队26个营约1.3万人，曹钅英的第四混成旅8000人，总共也是5.7万人。从数量上看，直、皖的兵力不相上下，但若加上奉系入关的部队，直方就占很大优势了。