1926年3月18日上午9点，各团体、学校群众约：三千多人到天安门集合，召开了大会，会后两千多人随即出发游行，来到了铁狮子胡同东口，在段祺瑞的执政府门前广场列队请愿。这次游行是由中国共产党领导和指挥的，游行队伍由共产党员王一飞率领，李大钊、陈毅、赵世炎、王荷波、陈乔年等中共北京区委领导人都参加了示威游行。
游行队伍在行进中，一路上马路两旁人山人海，纷纷脱帽鼓掌表示支持。看来老百姓是心意相通的，游行队伍表达的诉求正是他们埋藏在心底的愿望，现在终于有人出来为百姓说话了，他们岂能不表示敬意。
提前得到消息的执政府如临大敌，在游行队伍到达之前，北新桥以南，交道口以东，铁狮子胡同东西两口，执政府东西辕门及大门口，已经集结了大量的军警待命。
游行队伍在执政府门前站定之后，派代表向守门的军官说明要求会见段祺瑞。要求送进去了，足足等了半小时，才有一个军官模样的人出来凶狠狠地说：“执政有病休息，不在这里。”接着又用威胁的口吻说：“你们赶快走开Ⅱ巴。”
代表们仍然心平气和，一再说明请愿只是反对帝国主义干涉内政。这个军官只是说自己没有权利答复他们的任何要求。代表们转而要求面见贾德耀，与他谈判，但得到的答复仍是“他不在”，就没别的话了。
得不到任何回音的游行群众开始高呼口号，高唱《国际歌》和《打倒列强》，就在这时，没有任何征兆，也没有鸣枪示警等措施，执政府门前不到两百平方米的空场，刹那间变成了尸山血海。临时执政府卫队对手无寸铁的学生进行了长达十多分钟的射击。这次大屠杀造成47人死亡、132人受伤、40人失踪，这就是震惊中外的“三·一八”惨案。鲁迅先生称1926年3月18日为“民国以来最黑暗的一天”。
惨剧发生后，当时代理北京警卫司令的国民军将领李鸣钟迅速赶到现场，看到地上横七竖八地躺着学生的尸体，他感到了问题的严重性。因为在此之前，北京经常发生学生游行，但冯玉祥的国民军一直比较同情革命，对学生游行往往持保护立场。惨案发生前半个月，数次的学生爱国游行示威都没有发生流血事件，因为有京畿警卫总司令鹿钟麟的大刀队在两旁随行保护。而“三·一八”这一天，因为鹿钟麟带队赴天津与奉军作战，而李鸣钟作为临时代理，却没派大刀队保护游行队伍，他也实在是难辞其咎！
那么当时的段祺瑞究竟在哪里？其实根据历史资料显示，段祺瑞在惨案发生当天的确不在执政府内，而是在家里休息，并和年轻棋手吴清源在下围棋。至于段祺瑞对这场悲剧究竟应不应该负责，历史上也有不同的说法。有的说这虽然不是段祺瑞直接下的命令，但他对卫队开枪事件是持支持立场的，并且对学生动辄游行示威深感厌恶，事前种种迹象也显示他要武力对付学生运动。事后，段祺瑞的态度也有推脱责任的嫌疑，因为他以国务院的名义发出通电说： “李大钊等率领暴徒数百人，手持枪棍，闯袭国务院，泼火油，抛炸弹，手枪木棍冲击军警，各军警因正当防御，致互有死伤。”
不过还有另一种截然不同的说法，说是段祺瑞本意并非是要杀害学生，而且在事件发生前完全不知道卫队居然开枪，在得知事件发生后第一时间赶到现场，面对死难者长跪不起以谢罪。自此以后终生吃素，即使病入膏肓时也没有改变。
惨案激起了全国人民的愤怒，北京各校学生联名向京师地方检察厅控告段祺瑞、贾德耀、章士钊，要求依法拘捕审判。京师地方检察厅在调查后也不得不承认“群众并无犯罪行为，且未达到不正当侵害之程度，府院卫队实无开枪之必要，不能认为正当防卫”。中国共产党、国民党、全国学界、广州国民政府和工商界、教育界、妇女界乃至海外华侨、外国团体都纷纷通电支持北京学生，并以各种形式的活动追奠死难者，谴责段祺瑞执政府当局。
不管真相如何， “三·一八”惨案后，段祺瑞的执政府彻底失去了民意基础，到处是“讨段”、“诛段”之声。不仅人民声讨，连各路军阀也对段祺瑞的执政府避而远之，政府的威信荡然无存，垮台只是时间问题了。
谢幕演出
这时候，在河南、天津、热河等地，奉军、直鲁联军向国民军发起了全面攻击，国民军兵力不足，连连受挫，被迫紧缩战线。
屋漏偏逢连夜雨，山西的阎锡山落井下石，背弃了与国民军的密约，转过来袭击国民军。国民军不得不一边打，一边分头向直、奉军阀求和。
对国民军一再抛来的橄榄枝，吴佩孚反应冷淡，坚持联奉讨冯，但他手下两员大将靳云鄂、田维勤却主张联冯讨奉。国民军看到了一线希望，便试图通过这二人促使吴佩孚放弃往日仇怨，实现旧直系的大联合，共同对付奉系。
然而，恨透了冯玉祥的吴佩孚始终不肯与国民军谋和。国民军努力寻求吴佩孚的谅解，大谈释放曹锟、恢复法统以迎合吴佩孚，这又让段祺瑞如坐针毡，因为曹锟出来意味着他老段只能走人了。于是段祺瑞只好积极与奉系联络感情，希望借助奉系的支持维持执政府的地位，这就不可避免地要与国民军反目。
段祺瑞暗中拉拢原吴光新旧部，后改编为国民一军第九师的唐之道师，准备利用其力量逮捕鹿钟麟，与奉军里应外合消灭北京城内的国民军。鹿钟麟得知计划，决心先发制人抓捕段祺瑞，准备4月9日夜晚包围执政府和吉兆胡同段祺瑞的住宅。岂料，这个消息又被鹿钟麟的部下走漏给段祺瑞的旧部邓汉祥。邓汉祥急忙去见段祺瑞，劝他离开吉兆胡同避祸。性格刚直倔强的段祺瑞大为光火，坚决表示不离开。这时曾毓隽也得到要抓段祺瑞的消息，他立刻派执政府顾问日本人大谷猛坐着使馆汽车送信给段祺瑞，段祺瑞这才感到事态严重。
由于大街上已经戒严，段祺瑞当晚在侍从武官卫兴武的护送下到段的老同学、同住吉兆胡同的崔某家中住了一夜。为防止国民军在附近搜查，曾毓隽等连夜发出号外，说段执政已经进入东交民巷桂乐第。鹿钟麟看到号外后信以为真。夜里大约九十点钟前后，鹿钟麟自己跑到桂乐第见到李思浩。李思浩对鹿钟麟说：“执政已经休息，有事明天再来好吗？”因为这是在租界，鹿钟麟不敢乱来，只好说： “我来没有别的意思，不过是表示我对执政的关心和拥护。”
4月lO日，鹿钟麟发布警卫司令部布告，宣布段祺瑞的罪状，重点就是两件事：金佛朗案和“三·一八”惨案。国民军的举动就好像又发动了一次北京政变，但吴佩孚对迎合他的这次政变态度冷淡，一直没有停止对国民军的攻击。
4月11日早晨，段祺瑞才真到了桂乐第。进来之前，他特意派人从天津发出执政府、国务院的通电，说鹿钟麟兵困政府，一切政务无法执行，这个时候以政府名义发出的文件、命令都无效。
同一天，吴佩孚发表谈话，要求国民军全部退出北京，才有议和的余地；另外，他同时致电奉军、直鲁联军将领张学良、张宗昌，要他们按原计划进攻国民军。12日，吴本人的军队开到了长辛店、卢沟桥一带后，他的口气就更硬了，定要国民军全部缴械。至此，国民军谋和吴佩孚的希望彻底破灭。而张作霖因为国民军此前密谋联合直系对付奉系，对国民军极为恼怒，因此进攻更加猛烈。
这时候，段祺瑞在桂乐第仍以执政身份处理公务，他亲自给张作霖、吴佩孚、孙传芳、阎锡山等人发电报，表达出希望各方仍推他主政的愿望。他派曾毓隽到天津和吴光新碰面，一道去见张学良。张学良表示奉天对维持现在政权没有信心，只能保护段执政安全离开北京。奉方态度如此，直系吴佩孚更是不客气。至此，段祺瑞的一切努力落空，只能走人。
4月20日下午2点，在张宗昌两个营士兵的护送下，段祺瑞率其子段宏业以及亲信、老友多人，乘张学良调派的一趟专列前往天津。在天津，段祺瑞通电全国，表示引退下野。为期一年零五个月的临时执政府从此寿终正寝。
段祺瑞一生在宦海中几度浮沉，但这一次沉落后，他再也没能浮起来了。