退休生活
大江南北烽火燃遍，然而这一切都跟段祺瑞没什么关系了。
在1926年4月至1927年4月这段时间，段祺瑞一直住在天津日租界的须磨街，他的住所和王揖唐的公馆正对面。下野的段祺瑞其实一直没有死心，时时观望着局势，希望能有复出的机会。但军阀们你打我我打你，打来打去，就是没有人想起他段祺瑞来，他几乎被主流政治彻底遗忘了。
段祺瑞大半生都在戎马倥偬中度过，对家里的事情向来不关心。下野以后，公馆的规模缩小了，厨房里面只剩下八九个人。当差打杂的，连看门的在内，不过十来个人。
段祺瑞在台上的时候，尽管曾经管辖过大半个中国，按说为家里谋取一点小小利益对他来说不过是举手之劳，甚至根本用不着他费心，只要他不加以阻拦，自然会有大把的人给他送上。但段祺瑞从不为自己谋利，家里没有置办过任何田产房屋，就连袁世凯送给他居住的房子，他都退还给原来的主人了，就因为房契在人家手里。人家上门来要，堂堂国务院总理让人堵在家里要账可不是什么有面子的事情，搁在别人身上恐怕就要动粗了，但段祺瑞没有这么做，相反还劝手下人不要计较，自己主动搬离了这栋房子，另外找了个地方租住下来。这点确实是难能可贵！
所以当了多年官下来，段祺瑞家虽然说不上是家徒四壁，但日子确实是不怎么宽裕。在台上的时候，还经常有人接济，家里遇到点什么困难，还是有人帮忙的，所以倒也没有特别困难过，现在不一样了，人走茶凉，来看他的人也少了，家境显得入不敷出。
过去在北京的时候，家务事都由张夫人做主，每月的日常开支怎么用他是不过问的，现在下野了，没有工资，日子过得就有点紧巴了。所以段祺瑞也不得不细心起来，开始过问柴米油盐这些琐碎的小事。段祺瑞干什么事都是认真的，就连家务也不例外，每天开支是多少，买了多少烟酒，支付多少打杂的工资，他都要求下面的人将账目一一列出来，到月底他会亲自过目检查。
至于他个人的私生活，倒是和下野前没什么区别。段祺瑞生活很有规律，即使是在军务繁忙的时候或者是国事劳心的时候，他的生活也是几十年如一日。早上起来先要用冰冰腿（他有腿病），吃过早饭后，他就在书房里办公。他在位的时候，有些公事不送到衙门直接送到公馆里来，看罢公事再上衙门。中午，他照例回来吃饭，但他是单独吃饭，不跟家里人同在一桌。
即使是逢年过节的时候全家吃团圆饭，他也依然单吃一桌。他为人古板，一向不与人说笑，所以家里人也乐得躲开他，免得拘束。
午饭后，段祺瑞要睡个午觉。下午两三点起来会会客，下下棋。段祺瑞酷爱围棋，还为此养了一批棋手，他在位的时候是由陆军部给棋手开工资的，下野后就没有这样的待遇了。
关于围棋，段祺瑞还曾经传出过一段佳话，那就是和著名的围棋高手吴清源的一段渊源。当时的吴清源还是个十来岁的小孩子，然而却极具天赋，很多成名的围棋国手都败在了他的手里。因为吴清源没有段位，按照当时职业围棋的通行规则，高一段的棋手与低一段的棋手下棋时要让一子，所以有段位的棋手与他对弈最少应该让七子。但是在让七子的情况下，没有任何人能赢得了他，后来大家就让六子，然而依然是无法获胜，再到后来让五子，还是吴清源胜。
大家开始重视这个颇有潜力的围棋少年，于是协议只要与吴清源下棋，最多让三子，但是吴清源在让三子的情况下依然是胜多败少。很快吴清源的名声就传遍了围棋界，甚至引起了日本的重视。当时的围棋界，日本是第一强国，而中国围棋已经衰落多年，整体不是日本的对手。
日本人听说中国出了这么一位天才少年后，特意派出了一名五段棋手来华，但这名棋手在让三子的情况下居然大败给吴清源，后来让二子还是无法取胜，再让一子。让一子棋下了三盘，吴清源二比一胜利。这名日本棋手完全叹服了，因为当时吴清源只有13岁，而该棋手已经成名多年，何况他还是在围棋强国日本的比赛中拼杀出来的。他终于意识到，这名少年如果加以正规训练，前途绝对是不可限量，但中国围棋不具备这样的条件，终究会埋没他。于是他积极活动，想让吴清源去日本深造。
经过一番活动，日本围棋界接受了他，但吴清源家境贫寒，没有能力支付去日本的费用，有人就将这件事告诉了段祺瑞。段祺瑞当然了解吴清源的才华，考虑一番后，段祺瑞吩咐国务院为吴清源特别划拨一笔款子，用作他的留学费用，支持他出国深造。在段祺瑞的支持下，吴清源得以成行。后来吴清源在日本围棋界发展，成绩很快就扶摇直上，短短几年就在日本围棋界站稳了脚跟，并一一击败了当时所有的围棋高手，日本棋界曾经与吴清源进行过车轮战，当时的本因坊一门尽出精英，而吴清源孤身一人应战，仍然取得胜利，成为当时的世界围棋第一人。直至今天，还没有人能超越吴清源曾经达到的高度。
除了下棋，下午有时还举行诗会。老段的左右亲信中有不少是当时有名的诗人，像王揖唐、曹壤蘅、梁鸿志等都是段公馆诗会中的座上客。
晚饭时间，也许留棋手或诗人们一同吃晚饭，也许段祺瑞专请人吃饭。
不过，尽管段公馆里有专门的厨子做饭，饭菜还是很美味的，可是客人们多数都不愿意留在他家里吃饭。因为段祺瑞这个人为人比较古板，不喜欢说说笑笑，也不喜欢别人乱开玩笑说荤段子，跟他在一起特别拘束，所以大家宁可掏钱出去吃饭，那样可以随便一些。
段祺瑞还有一样爱好：打麻将。每天晚饭后就是他的专用麻将时间。如果这一天有宴会，来客中有现成的牌手，那就顺理成章，晚饭后接着铺起牌桌，打上八圈或十二圈麻将。要是恰好没有现成的牌手，那段公馆里当差的人就要忙碌了，四处打电话叫人，一定要约齐人让老段过牌瘾。
曾经有一段传说：傅良佐打牌打出来一个督军。傅良佐一直在段祺瑞身边当差，每当段祺瑞人手不够，他就自告奋勇顶替上来，陪着段祺瑞打牌。
后来湖南战事胜利，段祺瑞就让傅良佐当了湖南督军。
段公馆里打麻将打得最热闹的时候是督军团两次在北京开会的时候，督军团开会就是在段公馆里设几桌麻将，边打边聊天。张勋、张怀芝、倪嗣冲等人可都是麻将桌上的高手。
麻将桌上不光可以打牌，还可以说事儿。
有一次，段祺瑞对邓汉祥说： “二庵（陈树藩）才有余而德不足，袁项城做皇帝，陈事前竭力怂恿，以此来取信于袁，袁就派他带兵到四川主持军民两政；帝制失败时，陈又宣布独立。就做人方面、政治道德方面来说，都不是应该的。”谈到这时，陈树藩进来了，得知打牌的还有吴光新，便冲口而出地说：“老师一生许多的事都误于吴三爷（即吴光新）。”段便说：
“小学生又在乱说，小学生又在乱说（因陈树藩系段作保定速成学堂总办的学生）。”段祺瑞以玩笑来敷衍，还是不肯认错。
还有一次在天津段祺瑞家中打牌，三缺一的时候，他家里就打电话把陆宗舆约来。打完牌，陆宗舆先走了，段祺瑞对邓汉祥说： “打牌虽是游戏，也可以看出人的好坏来。陆宗舆打牌时鬼鬼祟祟的样子惹人讨厌。别人的票子都摆在桌上，他的却装在衣袋里，要用了再去摸。别人和了牌，他总是要欠账，过一会才给，老是让别人不痛快！”
邓汉祥说： “既然您说陆宗舆是坏人，那您过去为什么要重用他呢？”
段祺瑞回答说： “是袁世凯重用他，我可没有。”看来段祺瑞的记性不太好， “五四”运动时期陆宗舆就是币制局总裁，而且是段祺瑞做国务总理时亲自任命的。直到全国各地罢工、罢市、罢学要求惩办曹汝霖、陆宗舆、章宗祥时，段祺瑞才不得不撤了他们。“五四”运动强烈的冲击给了他巨大的压力，他不得不默许了北京政府撤掉了这三个人。
下野后的段祺瑞生活上更简单了，加上没有了收入，家庭开支更是捉襟见肘。为了节省开支，段祺瑞搬到了一所小一些的普通住宅，因为缺钱麻将也不能打了，一日三餐就是米粥、馒头、素菜。家里的仆人走掉了一大半，实在看不下去的魏宗瀚后来邀约一些老兵自愿前来帮助段祺瑞料理些杂务。就个人操守而言，段祺瑞为官清廉，从不聚敛钱财，在黑暗的民国政坛确实异数。
据说在下野的期间，段祺瑞还是不能放下对权位的眷恋，一度传出要和溥仪联合的传闻。但很快因为两人话不投机，最终没有成功。原因就是溥仪搭皇帝架子不肯到段的住所来看他，而段祺瑞也不愿去溥仪住的静园拜见，于是约定在载沣的家中见面（载沣是溥仪的父亲，曾经的摄政王），但是这次会面却相当不愉快，溥仪以一种皇上接见湖广总督的傲慢态度对待段祺瑞，深深激怒了仍自认为“国家元首”的老段，他便不再考虑与溥仪合作。
最后努力
所谓百足之虫，死而不僵，在下野最初的几年，老段以及围绕在他周围的政客们并未放弃东山再起的愿望，他们密切关注时局，不时也会搞出些动作来。
事实上，段祺瑞执政府刚垮台，直奉军阀的矛盾立马就尖锐起来了。
几天前还与吴佩孚信誓旦旦，声称与吴佩孚议好，各奉军绝对不入北京的张作霖，刚一赶走冯玉祥，就迫不及待地令奉军和直鲁联军强行开入北京，并任命了自己人做京师警察总监、京畿临时警备总司令、京畿卫戍司令，以控制京师。
吴佩孚不甘示弱，针锋相对也任命了自己的京师警备总司令。于是北京城内就出现了这样一个极其罕见的景观：两个北京政府，两套官员班子。两班人马互不相让，争吵不休。吴佩孚深知自己在北方的势力还不及张作霖，但张作霖政治上的活动余地绝对不如自己，所以他期望从政治上控制大局，即恢复曹锟宪法，起用曹锟任命的颜惠庆内阁。张作霖当然清楚吴佩孚的用意，故激烈反对，坚持要恢复约法，召集新国会，让他的亲家靳云鹏出来组阁。为此，双方就所谓法统问题，函电纷驰，吵个不休。
然而，这时的形势对张、吴来说都不乐观：冯玉祥的国民军虽然退到了南口，但是实力还存在；而南方的广东已经得到巩固，正在积极筹划进行北伐战争，革命的威胁仍然时刻缠绕在他们心头。为了稳定局势，巩固战果，不让南方的革命军趁机各个击破，张作霖首先做出了妥协，承认了吴佩孚组成的政府及内阁班子，即颜惠庆内阁。但他没料到，吴佩孚竟然咄咄逼人，一点不给自己台阶下，指使颜惠庆任命了所有直系人马为内阁成员，完全将奉系排除在外，这令张作霖勃然大怒，于是反过来又以拆台的手段抵制，颜惠庆又成了空头内阁。
直奉不和的消息传到了段祺瑞耳中，这让他大喜过望。他想利用矛盾，挑拨双方的关系，好让两方都无法独揽北京政权，这样自己就可以趁机渔利。不过段祺瑞的努力并没有收到预期的效果。张作霖刚刚得手，还不想这么快就与实力相当的吴佩孚翻脸，相反还必须寻求双方最大程度的合作。
为了联合对抗越来越具有威胁性的南方革命军，直系和奉系不得不抛开恩怨，吴佩孚和张作霖结拜为兄弟，同一天决定彻底消灭国民军。吴佩孚自告奋勇担任南口战场对国民军的正面主攻，奉军则从北方进攻国民军，国民军本来就实力不足，又没有任何外援，很快就兵败。
但是国民军并没有白忙活，因为他们的抵抗，牵制了大量直系主力。北伐战场上的进展才如此顺利，北伐军接连占领汉阳和汉口，节节胜利，10月10日，武昌被北伐军攻下，吴佩孚在华中地区的重要据点丧失了。11月初，北伐军攻下南昌，又消灭了孙传芳的大部分主力。直系两大佬损兵折将，地盘丧失，至此直系势力荡然无存。中国大地上，只剩下了最后一支旧军阀队伍——东北的奉系。
张作霖的政治野心越来越膨胀，他在天津住所“蔡园”召集军事会议，邀请奉军、直鲁联军将领和吴佩孚、孙传芳的代表，闽、陕、晋等省的代表参加，讨论如何联合对抗北伐军和国民军的问题。
几天后，张作霖被推举为安国军总司令、海陆空大元帅，宣布联合各地军阀，共同进攻北伐军。但他没想到，就在他踌躇满志，准备消灭北伐军，一统天下的时候，一场针对他个人的危机悄然来临。而事件的幕后主使，就是他一直以来的靠山——日本人。
日本人现在非常不满张作霖，原因在于随着实力的膨胀，张作霖越来越不把日本人放在眼里，让日本人感到控制他越来越难。
1927年，日本首相田中义一派了一个强大的谈判团找到张作霖，要张履行郭松龄反奉时张以个人名义同日本签订的密约。张作霖早将这事忘到了脑后，以前他被郭松龄逼得快要下野的时候，不得不依靠日本人度过权力危机，三十年河东三十年河西，现在的张作霖兵强马壮，其势力如日中天，在国内几无对手，对于日本人的牵制就显得不那么安心俯首帖耳了，转而对日本采取拖延、敷衍态度。此外他还不断拉拢英、美等国家，企图求得他们的支持；牵制日本，引起日本人深深的忌恨。他们决定采取断然的手段消灭张作霖，另外扶持自己的傀儡主持东北大局。
从1926年7月至1927年3月，北伐进展顺利，消灭了吴佩孚、孙传芳两大军阀的主力，革命势力扩展到长江流域，南京政府成立。全国的形势变成了国民政府与奉系的对抗。很快，当年4月，第二次北伐开始，1928~6月上旬便打到北京附近了。