蒋介石说：“老师不累吗？”段祺瑞说：“不累，不累。”蒋介石称段祺瑞老师是因为他曾就读保定北洋陆军速成学堂，段祺瑞曾是该学堂总办。下船后，段祺瑞由蒋介石亲自送到位于中山东路的下榻处励志社。
其实所谓共商国事，蒋介石明白，段祺瑞更明白：没什么好商量的。所以段祺瑞在南京只停留了两三天的时间，这几天他的主要活动就是去中山陵祭拜己故的孙中山先生。在前往陵园的途中，蒋介石手扶段祺瑞，边走边谈。蒋介石保持了自己的学生礼节，而段祺瑞则是坦然接受，似乎在他眼里，蒋介石仍然是自己的学生，而不是现在的中国最高军政长官。
段祺瑞不愿留在南京，正好他住在上海的小女儿段式荃有病，他就以探病为由谢绝了蒋介石留他住南京的建议。两天后，段祺瑞就结束了南京之行，前往上海，他将在那里度过自己人生最后的时光。蒋介石待段祺瑞还是非常周到的，特别指示军政部总务厅每月拨出40000元，作为段祺瑞隐居期间的生活用度。
段祺瑞在上海生活期间，主要从事佛法研究，还给自己取名“正道居士”。
1936年11月2日，因肠胃疾病，医治无效，段祺瑞逝于上海，享年72岁。
临终前，他亲笔写就遗嘱，交付从天津赶来的儿子段宏业。此文是段祺瑞一生心血的总结，字里行间不乏真知灼见，让见者动容。为了尊重段祺瑞人生中最后一点印记，现全文摘录如下：
“余年已七十余，一朝怛化，揆诸生寄死归之理，一切无所萦怀，唯我瞻四方，蹙国万里，民穷财尽，实所痛心。生平不为多言，往日徙薪曲突之谋，国人或不尽省记，今则本识途之验，为将死之鸣，愿国人静听而力行焉。则余虽死犹生，九原瞑矣。国虽危弱，必有复兴之望。复兴之道，亦至简单。勿因我见而轻启政争，勿空谈而不顾实践，勿兴不急之务而浪用民财，勿信过激之说而自摇邦本；讲外交者勿忘巩固国防，司教育者勿忘宝（保）存国粹，治家者勿弃固有之礼教，求学者勿骛时尚之纷华。本此人（八）勿，以应万有。所谓自力更生者在此，转弱为强者在此矣。余生平不事生产，后人宜体我乐道安贫之意，丧葬力崇节俭，敛以居士服，无以荤腥馈祭。此嘱。”
11月5日，国民政府以退休元首的最高礼仪，决定为段祺瑞举行国葬。
段祺瑞去世的消息传出，各方吊唁纷至沓来，既有北洋故人的，也有南京政府的，各国驻沪领事也前往吊唁。关于安葬问题，蒋介石有意将其葬在南方；但段宏业表示，段祺瑞生前曾说他一生功业多在北京，百年之后愿归葬京郊西山。于是段祺瑞的灵柩便在12月5日公祭之后运往北京。
12月10日，灵车抵达天津。天津市市长张自忠主持公祭，曹汝霖、李思浩、陆宗舆、王揖唐以及齐燮元、何丰林等北洋旧人全部都来了，连以前的老对手吴佩孚也带病前来，给昔日的老师和政治对手送最后一程。
1937年，卢沟桥事变发生，日本军进占华北，北京成了日本在华北统治的中心。日本人大批入京，由于没有办公的地方，他们便大量征用比较宽敞的王公府第大小公馆，段祺瑞的南门仓公馆也被日本人看中了。但是考虑到段祺瑞生前和日本人的关系，他们没有像对待别人一样动粗，而是花了40万元直接将房产买了下来。
然而，日本人进入北京之后，不仅没有放过段祺瑞的公馆，而且也没有放过他死后停灵的所在。卧佛寺也被日本人征用了，催着段家把段祺瑞的灵柩移出去。
段宏业找了那么久都没找到一块满意的风水地，这急切中更是抓瞎。多亏段祺瑞三弟段子猷的儿子曾经在北京西郊置了一块坟地，于是段祺瑞的灵柩便匆忙从卧佛寺中起出，挨着段子猷坟地埋葬了。下场也颇为凄凉！
回头想想段祺瑞，轰轰烈烈了一辈子，死后居然没有一块葬身的地方。
盖棺定论，六不总理
段祺瑞是清末以来至民国初期，中国历史上一位不可多得的政治家。说他不可多得，并非是说他的政绩多么辉煌，他能让历史记住，还在于他个人的人格和操守，让他获得了即使是对手也不得不表示出的尊重。
作为政治家，段祺瑞也有雄心抱负，他的政治理想可以直接找出的证据是1925年9月18日发表在《政府公报》上的一篇文章《内感篇》，还有就是他1926年写的一首诗《策国篇》。
在《内感篇》中，他认为中国自古以来就战祸纷繁，人民深受倒悬之苦，这都是人为造成的，但其根源在因果报应（难怪他晚年笃信佛教）。中国的立国之本还在孔孟之道，学习西方的民主政治是不可行的，因为“礼教异趣，服食异式”。
段祺瑞在《策国篇》一诗中，则具体描绘了自己的建国理想： “乡镇聚为邑，联邑以成国。国家幅员广，画省以区域……政府省长设，各国垂典则。邑宰如家督，权限赖修饬。统治成一贯，筹策行奇特……靖共期力行，百司各循职。良善勤讲诱，去莠惩奸慝。言出法必随，不容有窥测。土沃人烟稀，无过于朔北。旷土五分二，博种资地力。兵民移实边，十省两千亿。
内地生计裕，边疆更繁殖。道路广修筑，交通无闭塞。集我国人资，银行大组织。独立官府外，经理总黜陟。发达新事业，随时相辅翊。输入减漏卮，制造精品式，肥料酌土宜，灌溉通沟洫。比户余粟布，孝悌申宜亟。既富而后教，登峰务造极。国际蒸蒸上，谁复我挫折？”文采倒是很不错的，虽然未必是他老人家亲笔所写，但至少这是他的真实心境的表露，这一点得到了史学界公认。文章表达了希望国家能停止战乱，让人民休养生息，发展生产以强大国力的愿望。但终其一生，段祺瑞都没能实现自己的理想，反而让中国陷入越来越大的危机中而不能自拔。
就个人操守而言， 在民国史上，段祺瑞以其罕有的廉洁俭朴获得世人的尊重和称道。他没有别墅、庄园，不为自己购置田产。
段祺瑞治家严格，而且脾气很大，手下的人都战战兢兢，不敢犯错。按前清留下来的规矩，一般大官的门房都有一个规矩，那就是收取门包，否则来办事的人根本连门都进不去。段祺瑞自己大概没少吃这个“门包”的亏，因而他极为痛恨收门包的陋习。如果让他听说手下有人收门包，脾气暴躁的他说不准真能拉出去枪毙了。
中国人讲究礼尚往来，尤其是逢年过节的，然而这一套到了段祺瑞这里又不灵了。每逢有人将礼物送到段公馆，门房都会将它们放在内厅门口一个专门的桌子上，等段祺瑞回来决定收不收。而段祺瑞往往是仔细比较，认真赏玩，最后挑一两件最不值钱的留下，剩下的就让手下按照礼物上的名字原物送回。所以在段祺瑞风光的那些年里，能给段祺瑞送礼还能让他留下的，那可是了不得的本事，很多人往往会去请教他们成功的诀窍。
有一次，江苏督军齐燮元不知道从哪里搞到了一个精美的围屏，给段祺瑞送了来。这个围屏上镶有各种宝石，五颜六色，非常漂亮，段家的人喜欢得不得了，甚至睡觉了晚上还偷偷地起来观看，但这个围屏只在段家待了一晚上，第二天早上，段祺瑞便令人送还了齐燮元。大名鼎鼎的奉帅张作霖有一次给段祺瑞送了一些东北的特产，有江鱼、黄羊等物，段祺瑞坚决不收，送礼来的是张作霖的副官，因为张作霖命令他必须让段祺瑞收下，于是一再恳求，实在推不掉的段祺瑞才收下两条江鱼。还有一次，冯玉祥给他送了一个大南瓜，段祺瑞似乎很喜欢这个礼物，当场就收下了。
段祺瑞为官比较公正，绝对不允许家里人徇私。段家有个老妈子，跟了段祺瑞多年，有一次托段祺瑞的一位姨太太说情，想给她的一个亲戚找个差使干干，没想到刚一开口，段祺瑞就气得大骂起来： “你们卖官卖到我这里来了，好大的胆子。你究竟拿了人家多少钱，快说！”后来，段家的人再也不敢在他面前说什么人情了。
段祺瑞对自己严格，对家里人严格，对手下的人也是一样。他手下有位军需官买了个使唤丫头，但他老婆却经常虐待这个小姑娘，经常将她打得遍体鳞伤。不知怎么段祺瑞知道了，这下子捅了马蜂窝，他的鼻子又气歪了，立即命令将那个军需官抓来严加盘问，还打了40军棍，把那个军需官吓得浑身发抖，连连求饶。段祺瑞骂了半天后，气才消了下去，随后便吩咐手下将小丫头送到后院，让自己的家眷收养起来。
段祺瑞一生酷爱围棋，曾经资助过中国大批的围棋手，除了我们已知的天才少年吴清源外，还有汪云峰和顾水如等，被称作“中国围棋的大后台”。
作为民国年间名噪一时的政治家，段祺瑞不蓄私财，不徇私情，两袖清风，在民国这样一个黑暗年代，无论如何都是难能可贵的！
好了，一代枭雄段祺瑞，咱们就此别过！