靳云鹏辞职后，梁士诒通过拉拢张作霖当上了内阁总理。梁士诒当选内阁总理后，张作霖的权势与日俱增，北洋政府一时间落到了奉系的手里，这让直系曹锟、吴佩孚大为不满。为了扳倒梁士诒内阁，吴佩孚又使出了自己的绝技——骂人的功夫。
梁士诒是亲日派，他上台之后，经常与日本秘密联系，后来竟然答应向日本筹借巨款，以赎回被日本霸占的胶济铁路，还要把这条铁路改成中日合营，聘用日本人担任重要职务。梁士诒的卖国行径遭到全国上下的不满，吴佩孚则找到机会借题发挥，他大骂梁士诒“勾援结党，卖国媚外”，还联合冯玉祥、陈光远等各省督军一起对梁士诒进行口诛笔伐。在吴佩孚的带动下，全国掀起了一场批判梁士诒的热潮，而吴佩孚则充分发挥自己的文学素养，引经据典，连骂梁士诒八九天。梁士诒无计可施，向张作霖求助。张作霖是土匪出身，面对吴佩孚连珠炮般的轰炸无力反击，只能私下对梁士诒说“忍忍就过去了”、“安心供职”之类的话。
梁士诒听了张作霖的话，坚持不肯下台，这下吴佩孚骂得更凶了，他不仅揭露梁士诒的其他阴谋，还联合全国各省，一起讨伐梁士诒。张作霖忍无可忍，只能调兵入关，对直系宣战。在张作霖军队入关之前，吴佩孚又以通电的方式大骂张作霖，一边树立自己爱国军人的形象，一边细数张作霖的过错，还发表了《张作霖十大罪状》，把张作霖气得够呛。因为有了前面舆论的铺垫，加上吴佩孚亲自率军出征，士气大增，第一次直奉战争打响后，没过多久，奉系败北，张作霖只好带着军队逃回东北了。
《时代》封面中国第一人
吴佩孚批判段祺瑞的武力统一，是为了尽快扳倒他，在吴佩孚心里，要想统一全国，必须动用武力。段祺瑞政府垮台后，吴佩孚决定扩张自己的兵力。洛阳地理位置居中，四通八达，自古就是兵家必争之地。吴佩孚决定把练兵地点建在洛阳，一方面，这里靠近几个比较大的兵工厂，武器运输方便；另一方面，吴佩孚还有更长远的考虑——洛阳连通十省，将来兵力壮大后，可以方便他征战全国。就这样，吴佩孚把势力转到河南，开始在洛阳招兵买马。吴佩孚不仅练兵，还在洛阳建立了飞机场，为军队添置了飞机，还在军事指挥机构设立无线电台，这样一来，一个全方位的立体军事力量就形成了。到了1921年，吴佩孚的兵力发展到十万之众，已经能够和曹锟并驾齐驱。
徐世昌被赶下台后，选谁当总统又成了问题。这时候，全国呈三分天下的局面：东北地区，张作霖独自称王，华北地区，成了曹锟、吴佩孚的天下，而西南地区，孙中山的军队虎视眈眈。曹锟一心想当上大总统，但面对这样的局面，虽然北洋政府掌控在直系手里，他却拿不出什么有力的理由就职。这时，他的贴身智囊吴佩孚又有了主意。吴佩孚对曹锟说，与其三方势力争执不下，不如推举一个合法合情的总统出来，等时机成熟，再把他赶下台。选谁合适呢？这个时候，吴佩孚的目光落在黎元洪的身上。他想，黎元洪当日被张勋赶走，除了通电让冯国璋代理大总统外，没有留下其他声明，这次不如推举他当总统，时机成熟后，再以黎元洪总统不合法为由将他赶下台。吴佩孚的想法得到了曹锟的支持，1922年6月11日，黎元洪再次被请回北京，成了直系军阀的傀儡。
后来，通过第一次直奉战争，张作霖退居东北，曹锟和吴佩孚终于成了北洋政府的执牛耳者。曹锟通过贿选当上大总统之后，直系军队得意忘形，竟然叫嚣“直系即中央”，吴佩孚也被称为吴大帅，仅居曹锟“老帅”之下。
作为一名军人，吴佩孚心直口快，颇有些大大咧咧。对于中国政治，吴佩孚养成了有什么说什么、想什么做什么的习惯。早在黎元洪被赶下台之前，他就到处宣扬自己的政治主张，倡导建立“国民大会”，现在，吴佩孚成了“吴大帅”，他更觉得应该为国家尽一份心力了。他继续提倡建立国民大会，以国民大会为国家的最高权力机构，从农、工、商、学四界中自下而上选出代表，再由他们组织国民大会，行使选举国家官员的权利。吴佩孚的建议其实已经很有现代民主选举的影子了，他的建议也一度得到全国有识之士的推崇，甚至连中国民主的开山之祖孙中山也对这个提议大加赞赏。
除了政治主张，吴佩孚对政府的其他事务也越来越关心了。对于吴佩孚来讲，他只不过为了尽自己一份微薄之力，但在曹锟眼里，吴佩孚却功高盖主，令人不安。
吴佩孚在北洋政府的地位如日中天，他在河南的军队势力也日渐庞大。到了1924年前后，吴佩孚控制了直隶、河南、陕西、山东、湖北等地，拥兵十万之重，并实际掌握了北洋内阁的权利，以至全国十八个省的总督、督军纷纷到洛阳设立办事机构，洛阳一时间成了北洋政府重要的政治中心，甚至有人把吴佩孚在的洛阳称为“西宫”，连吴佩孚的老上司都不无嫉妒地说，“洛阳打个喷嚏，北京天津都要下雨”。这个时期，吴佩孚的声望、军事实力、政治地位都达到了顶峰。1924年9月8日，吴佩孚的头像登上了美国《时代》杂志的封面，在他的照片下面，写着这样两行字：
GENERAL WU（吴将军）
Biggest man in China（中国最强者）
在当时混乱的政治下，全国都把目光集中到吴佩孚身上，很多人相信，只有吴佩孚能结束军阀混战的局面，就连美国人、上海英文杂志《密勒氏评论报》的主编约翰·鲍威尔也觉得吴佩孚“比其他人更有可能统一中国”。
然而，历史并不总是按照人们的意愿前进。就在吴佩孚登上《时代》杂志的一个星期之后，在东北卧薪尝胆的张作霖突然发难，带兵十五万，分山海关、赤峰、承德三路向关内进军。出发之前，张作霖还不忘调侃曹锟，说听说他依然被吴佩孚控制，当着傀儡，把曹锟气得够呛。
第二次直奉战争爆发，吴佩孚带兵在前线激战。正当直、奉两军战得不可开交之际，吴的老部下冯玉祥临阵倒戈，连夜带兵潜回北京，控制了曹锟，夺取了中央政权。过了很久，吴佩孚才得知********的消息，这时想要还击已经为时太晚了。吴佩孚对冯玉祥的背叛深感不解，他亲笔写信给冯玉祥：“与足下袍泽数年，以心相印，今被暗算夫复何言！……佩为亡人，亦曾受教于君子，惟不明心迹，是以不免耿耿耳。”
第二次直奉战争成了吴佩孚人生的分水岭。为了躲避冯玉祥、阎锡山的围剿，他带着不足两千人的余部，从天津逃到山东，从山东逃到湖北，遭到拒绝入境后，又躲进了深山。这样一位曾经叱咤风云的大帅，在政治生涯的最后一幕，竟落得如此凄凉。据说，吴佩孚躲在深山之后，又遭到段祺瑞手下的暗杀，因为终日忧心忡忡，吴佩孚一夜白头。
死于牙病，千人送行
曾拥貔貅百万兵，时衰蜀道苦长征。疏狂竟误英雄业，患难偏增伉俪情。
楚帐悲歇骓不逝，巫云凄咽雁孤鸣。匈奴未灭家何在，望断秋风白帝城。
被迫下野后，吴佩孚试图挣扎一番，重返政坛，但最终失败了。落魄之中，他写下了这首诗，回顾自己辉煌的一生。不管在打仗过程中用过多少诡计，吴佩孚始终是一个正义凛然的堂堂军人。他至死坚守自己的“四不原则”——不纳妾，不积金钱，不留洋，不走租界。
被冯玉祥驱逐追杀之际，吴佩孚从天津逃到山东，被老家拒绝入境；他转而投奔湖北，又被湖北禁止入境，可谓四面楚歌。当时，有部下建议他躲到外国租界中，被他拒绝了。他觉得“堂堂军官，托庇外人，有伤国体”，宁可躲进深山，也不愿意向外国人求助。
吴佩孚在他的一生中，还做了一件功德无量的大事。当时，国会议员们在宣武门内象房桥国会厅办公，他们嫌办公地点狭小，想要把紫禁城的三大宫殿拆掉，建成西式大厦。为了拆除后分款一事，国会议员和参议员们争执了很久。这件事被在洛阳练兵的吴佩孚知道了，他勃然大怒，斥责议员们贪图小利的思想，并越过他们，直接致电给总统、内阁总理、财务总长和内务总长四人：
顷据确报，北京密谋，决拆三殿，建西式议院，料不足则拆乾清宫以补足之，又迁各部机关于大内，而鬻各部署。卖五百年大栋木殿柱利一；鬻各部署利二；建新议院利三；建各新部署利四。倡议者处心积虑，无非冀遂中饱之私。
查三殿规模闳丽，建明永乐世，垂今五百年矣。光绪十五年，太和门灾，补修之费，每柱靡国帑至五万。尝闻之欧西游归者，据云，百国宫殿，精美则有之，无有能比三殿之雄壮者。此不止中国之奇迹，实大地百国之瑰宝。欧美各国无不龂龂以保护古物为重，有此号为文明，反之则号为野蛮。其于帝殿教庙，尤为郑重。印度已逐蒙古帝，英人已灭印度王，而施爹利，鸭加喇两地，蒙古皇帝宫殿，至今珍护，坏则修之。其勒桡各王宫至今巍然。英灭缅甸，其阿瓦金殿，庄严如故。今埃及六千年之故宫，希腊之雅典故宫，意大利之罗马故宫，至今猷在。累经百劫，灵光巍然，凡此故宫，指不胜屈。若昏如吾国今日之举动，则久毁之矣。骤闻毁殿之讯，不禁感喟，此言虽未必信，而究非无因而至。若果拆毁，则中国永丧此巨工古物，重为万国所笑，即亦不计，亦何忍以数百年故宫，供数人中饱之资乎？务希毅力维一大地百国之瑰宝无任欣辛盼祷之至。
随后，他又联络报纸记者把这封电报刊登在报纸上，报纸一经发行，立即得到全国的响应。在吴佩孚的极力反对下，故宫三殿才得以保存至今。
吴佩孚晚年居住在北京。七七事变后，日本想要在中国寻找能够组织伪政权的人物，吴佩孚也被盯上了。当时，江朝宗去拜访他，希望他能加入日本人组织的“治安维持会”，其实就是投靠日本，为日本卖命。江朝宗讲得滔滔不绝时，吴佩孚突然厉声呵斥道：“你个老不死的！”江朝宗吓了一大跳，知道无法劝说，便匆匆离开，再也不敢拜访吴佩孚了。
日本人多次“拜访”吴佩孚，希望他出面支持所谓的中日合作，吴佩孚坚决拒绝，还多次愚弄日本人。1939年，土肥原贤二劝邀请吴佩孚参加中外记者说明会，吴佩孚欣然答应。土肥原以为吴佩孚终于“想通了”，马上筹划准备。他找人写了一篇赞同日本主张的讲稿，于1月30日这天发给到场的中外记者，因为担心吴佩孚不合作，还找了一个可靠的翻译，要求不管吴佩孚说什么，都按照事先写好的讲稿翻译。
记者说明会开始了。土肥原把讲稿给了吴佩孚，只见吴佩孚把讲稿放到一边，表示要脱稿演讲。这让土肥原心里一紧，他马上暗示翻译按照事先安排好的内容进行翻译。
“余受和平救国会之推荐，组织绥靖委员会，着手建立政府机关，以实现和平。”说到这里，土肥原松了一口气。原来，吴佩孚基本上是按照讲稿内容讲的。
“武力调停，余在国内战争中已有数次经验，所以是有信心的。不过，恢复和平必须是全面的，平等的！惟平乃能和，和必等于平！本人认为，今日要讲中日和平，惟有三个先决条件。”
趁土肥原还没反应过来，吴佩孚抓紧讲出了他所指的三个和平条件：第一，日本从中国全面撤军；第二，中国要保持领土和主权完整；第三，日本必须与重庆国民政府为交涉、和谈对象。
三个条件一讲出，中外记者轰动。日本为了封锁消息，扣押了所有记者的稿件，只在日文报纸上刊登了伪造的讲稿内容。后来，一位美国记者冲破封锁，在海外报纸上刊登了吴佩孚演讲的原文，海内外一片哗然。
1939年11月24日，吴佩孚在家里吃饺子，肉馅里的骨头渣卡在了镶嵌的金属牙里，疼痛难忍。当天下午，一个叫尹东的日本医生受医院委派来到吴佩孚家中，他二话没说，拔掉了这颗坏牙。第二天，吴佩孚左腮肿起，忽冷忽热，神志不清。家人又请来中医，后来又请了各色名医，全都医治无效。12月4日，几名日本医生来到吴佩孚家中，声称必须做手术，否则病好不了。手术过后，吴佩孚深度昏迷，当天晚上就撒手西去了。
吴佩孚晚年同样保持了民族气节，有人猜测，他的死很可能是日本人下的毒手。送殡当天，北京老百姓纷纷来到街上，为这位铁骨将帅送行，就连日军侵华的最高司令也对他表示钦佩，在公祭仪式上为他默哀。