齐集天安门的学生们，多数穿着长衫，也有的穿着黑制服，他们手里拿着各种颜色的小旗，上面写着：“取消二十一条”，“还我青岛”，“誓死力争”，“保我主权”，“勿作五分钟爱国心”，“争回青岛方罢休”，“宁为玉碎，不为瓦全”，“头可断，青岛不可失”，“中国宣告死刑了”，“诛卖国贼曹汝霖、章宗祥、陆宗舆”，“国民应当判决国贼的命运”，“誓死不承认军事协定”，等等。有的标语是用英文或法文写的，也有的旗子上画着漫画。最引人注目的是金水桥南竖起的一面大白旗，上面书写着的一副对联：
卖国求荣，早知曹瞒遗种碑无字
倾心媚外，不期章忄享余孽死有头
3日晚上北大学生血书“还我青岛”的那块衣襟，也悬挂在这里，很是激动人心。
学生们集合天安门的目的主要是游行示威，向“总统府”及英、美等帝国主义使馆抗议，表示国民外交的声势，除极少数的学生外，大多数学生是没料到会演出火烧赵家楼曹汝霖住宅和殴伤章宗祥等事件的。
学生们在天安门汇合以后，大概有一个短暂的集会。许多当事人都回忆说：“到达天安门前，在那里停了好久，有人演说，喊口号”；“在广场上开了一次群众大会，很多人发表了演说，决议举行示威游行”；“我们在天安门停了好久，向群众说明游行示威的意义，群众因之也就参加的多了，游行示威的人数因之也就增加了”；“大会决议先向各国公使馆游行示威，再向总统府请愿，要求惩办卖国贼曹汝霖、章宗祥、陆宗舆，拒绝对巴黎和约签字”；“在开会时我站在一层层的人群中间，又没有扩音器，听不完全那位似是立在方桌上演说者的话音，但大意是了解的，与各校所写的标语上的要义一样。到会的对于大会的开法没有争执，主要是要有什么样的行动，要对卖国的军阀、官僚怎样表示，怎样示威，及至先往日本使馆去的提议宣布以后，大家高叫赞同……”
短暂的集会后，学生们即准备向使馆区进发。
北大国民社和新潮社的同学还为这次游行准备了两个宣言，一个是文言的，一个是白话的。前者系许德珩起草，后者系罗家伦起草。
前一个宣言的全文是：
呜呼国民！我最亲最爱最敬佩最有血性之同胞！我等含冤受辱，忍痛被垢于日本人之密约危条，以及朝夕企祷之山东问题。青岛归还问题，今日已由五国共管，降而为中日直接交涉之提议矣。噩耗传来，天黯无色。夫和议正开，我等之所希冀所庆祝者，岂不曰世界中有正义、有人道、有公理，归还青岛，取消中日密约，军事协定，以及其他不平等之条约，公理也，即正义也。背公理而逞强权，将我之土地由五国共管，侪我于战败国如德奥之列，非公理，非正义也。今又显然背弃山东问题，由我与日本直接交涉。夫日本，虎狼也，既能以一纸空文，窃掠我二十一条之美利，则我与之交涉，简言之，是断送耳，是亡青岛耳，是亡山东耳。夫山东北扼燕晋，南拱鄂宁，当京汉、津浦两路之冲，实南北之咽喉关键。山东亡，是中国亡矣！我国同胞处其大地，有此山河，岂能目睹此强暴之欺凌我，压迫我，奴隶我，牛马我，而不作万死一生之呼救乎？法之于亚鲁撤、劳连两州也，曰：‘不得之，毋宁死。’意之于亚得利亚海峡之小地也，曰：‘不得之，毋宁死。’朝鲜之谋独立也，曰：‘不得之，毋宁死。’夫至于国家存亡，土地割裂、问题吃紧之时，而其民犹不能下一大决心，作最后之愤救者，则是二十世纪之贱种，无可语于人类者矣。我同胞有不忍于奴隶牛马之痛苦，极欲奔救之者乎？则开国民大会，露天演说，通电坚持，为今日之要着。至有甘心卖国，肆意通奸者，则最后之对付，手枪炸弹是赖矣。危机一发，幸共图之！
后一个宣言的全文是：
北京学界全体宣言
现在日本在万国和会要求并吞青岛、管理山东一切权利，就要成功了！他们的外交大胜利了！我们的外交大失败了！山东大势一去，就是破坏中国的领土！中国的领土破坏，中国就亡了！所以我们学界今天排队到各公使馆去要求各国出来维持公理，务望全国工商各界，一律起来设法开国民大会，外争主权，内除国贼，中国存亡，就在此一举了！今与全国同胞立两个信条道：
中国的土地可以征服而不可以断送！
中国的人民可以杀戮而不可以低头！
国亡了！同胞起来呀！
当时汇集在天安门前的，除各校学生外，还有许多陆续而来的旁观者。他们多是前门外和东西长安街一带的市民，闻讯而来，看看学生们有什么举动。当他们听到同学们的讲演和看到当场散发的传单（宣言）后，均对学生表示同情，有的人就直接参加到游行队伍中来了。
学生队伍将要开始游行的时候，曾经在沙滩阻挠北大学生出发的那位教育部代表（次长）又跟踪而来了，并询问学生集会游行的意图，学生们当即把传单送给他，并指着向他说：“区区苦衷，尽在于此，一览便知，无待赘述。”这位代表态度非常蛮横，他在看完传单后向学生们说：“事先未通知公使馆，恐不能在使馆内通行。我承教育部命令来此，请大家从速解散，有事可推出代表办理。”同学们万众一心，拒绝了这无理的干涉，并高呼说：“我们今天的行动，教育部管不了！”（按5月4日这一天，正好是星期天）面对着愤怒的群众，这位代表毫无办法，只好灰溜溜地走开了。
北洋政府又派来步军统领李长太和警察总监吴炳湘，先后到场干涉。李长太恶狠狠地恫吓，叫嚷：“我是承大总统的命令来的，学生队伍必须解散。”学生们没理他那一套，齐声高呼：“打倒卖国贼！”吴炳湘见势不妙，则软硬兼施，假惺惺地说：“今天天气很热，请诸位赶快回去休息吧！”
北京的5月，中午刚过不久，天气确实很热。但是，群众的爱国、救国心肠，却更热。因此，吴炳湘等的劝说，并未发生任何作用，反而被学生们申斥了几句。
国内的这些反动派，主要是怕外国人，怕引起国际纠纷。
但是，爱国的学生们是无所畏惧的。他们在冲破反动派的阻挠后，便直奔东交民巷而去。
东交民巷受阻
东交民巷就在天安门广场的东南角上不远的地方。这是一条很宽敞的巷子，道旁矗立着各种各样的外国房屋：英式的、美式的、法式的、德式的、日式的、俄式的……尖顶的、圆顶的……红色的、绿色的……洋洋大观，好似一个小型的世界建筑博览会。
东交民巷原名东江米巷，附近一带是当时北京城内的行政区，在那里有许多中国的行政机构、庙宇、会馆及市民住宅。第二次鸦片战争后，各国驻北京的使节相继来华，就在此附近设立公使馆。1900年（庚子）义和团运动被镇压后，清朝政府和各帝国主义国家于1901年签订了丧权辱国的《辛丑和约》（即所谓《议和大纲》），才规定了这一片地方为中国人不得随意通行的使馆区。当时《和约》规定：“各国应分自主，当驻兵队护卫使馆，并各将使馆所在境界自行防守，中国人民概不准在界内居住。”
在《和约》签订了之后，1901年5月30日，又签订了一个《北京各国使馆界址四至专章》，划定了使馆区的范围。《专章》上是这样写的：
一、东界至崇文门十丈为止，其城门旁西首登城马道不在界内。
二、西界至兵部街为止，街西宗人府、吏部、户部、礼部四衙门均还中国，并可在衙门后建筑墙垣，不宜过高。衙门旁民房，本多毁坏，其现在尚存者，一律拆为空地。无论中国人、外国人，不得建造房屋。各使馆服役之中国人原有房屋，在界内者，另行拨给地段，令其盖房居住。
三、南界至大城根为止，其靠使馆界之城上，许各使馆派人巡查，但不得建造房屋。
四、北界至东长安街北八十迈当为止，使馆界墙在东长安街南约十五丈，自界墙外至东长安街北界线以内之房屋，均拆为空地，惟皇城不得拆动。其空地内，以后彼此均不得造屋，东长安街一带仍听车马任便行走，作为公共道路，由中国设立查街巡捕，建造巡捕房，为该巡捕等办公之地。
帝国主义者为了在上述范围内建立使馆区，拆毁了中国居民房屋1400座，价值约35万两。帝国主义者在使馆界四周筑起高厚的围墙，墙上布满炮位、枪眼；墙内设有美、法、德、英、意、日、俄等七国兵营；墙外留有空地，作为操场，标着“保卫界内，禁止穿行”的木牌。使馆界内自设警察和管理人员，不仅中国人民不能居住，就是中国的军警也不能穿行。
从此，“国中之国”形成了，中国政治舞台上的许多怪事，就是从这里导演出来的。袁世凯称帝、张勋复辟，都和这里有着密切的关系。张勋复辟失败后，就是进到这里的荷兰使馆躲藏的。
5月4日下午的学生游行队伍，由天安门出中华门行至东交民巷的西口，即被阻于铁栅栏之外，原来反动派早已作好准备，命令所属阻挠游行队伍。“使馆界之巡捕谓须得大总统之同意始准入内游行。”在学生的要求下，该巡捕假惺惺地说和总统府电话磋商，结果电话往返达两小时之久，仍不得要领。“虽由代表再三向英、美、法、意各国公使署交涉，因庚子条约（辛丑条约）的束缚，终没有允许通过的可能！”
学生游行队伍既然已不可能按原定计划通过使馆区，“不得已乃举罗家伦等四人为代表谒美公使，适美公使未在，馆员某君接见谓：今日星期，恐他公使亦难晤面，诸君爱国热忱当尽情转陈于美公使，此意即能转达外交团云，遂将所递陈词收下。”
学生们向美国公使馆的《陈词》，其全文是：
大美国公使阁下：吾人闻和平会议传来消息，关于吾中国与日本国际间之处置，有甚悖和平正义者，以最真挚最诚恳之意，陈辞于阁下：1915年5月7日二十一条中日协约，乃日本乘大战之际，以武力胁迫我政府强制而成，吾中国国民誓不承认之。青岛山东一切德国利益，乃德国以暴力夺去，而吾人之所日思取还者。具以对德宣战故，断不承认日本或其他任何国继承之。如不直接交还中国，则东亚和平与世界永久和平，均不能得确切之保证。贵国如保持民族之独立，与人类之公权，及世界和平之局而战，1917年1月10日协约国美国公使公牒，吾人对之表无上之钦爱与同情，吾国与贵国同胞同一主义而战，不得不望贵国之援助。吾人念贵国与我中国素敦睦谊，为此直率陈词，请求贵公使转达此意于本国政府，于和平会议予吾中国以同情之援助。
看来，这个《陈词》是学生们预先就准备好的。学生们为什么要对美国公使单独“陈词”呢？这是因为：
第一，五四爱国运动反对的主要目标，是日本帝国主义。而美国在争夺中国上是和日本有矛盾的。
第二，威尔逊的和平十四条讲得太动听了，它不仅欺骗了世界人民，也欺骗了中国人民，美国大总统简直成了正义、人道的化身，陈独秀虽然在《每周评论》上对威尔逊有所批评，但广大同学不是那么很快就能醒悟过来的。
从使馆区的地理位置来看，美使馆和美国兵营正守着东交民巷的西口，学生游行队伍正是在离这不远的地方被阻，学生代表进入巷内面临的第一家使馆正是美国使馆。而从当时的实际情况来看，美国对学生游行队伍的态度，和其他国家（如日本）确有不同。因此，学生们对美国抱有幻想、剀切“陈词”，甚至高呼“美国万岁！”“威大总统万岁！”都是不奇怪的了。《每周评论》报道当时的情况说：“到了东交民巷西口，使馆界巡警不放行。先是打电话给美、英、法三国使署，他们都说很欢迎的。到西口的时节，美国兵营的军官也放行了，并且还要让我们从美兵营和美使馆的里（原文如此，疑有误――引者）经过。只有巡捕房坚不让走，大家只好在美使署前连呼‘大美国万岁！威大总统万岁！大中华民国万岁！世界永久和平万岁！’四声，递上说帖。”
被阻于东交民巷西口的3000名青年学生，在烈日下整整晒了两个小时，“虽无厌倦之容，难免忿恨之态”。学生们深深感到：“国犹未亡，自家土地已不许我通行，果至亡后，屈辱痛苦，又将何如？”学生们也意识到：“使馆界之不许通过，各使之不亲见，乃事前警厅有电话知照。”此时此景，怎能不使热血沸腾的青年学生义愤填膺、怒发冲冠呢？正如匡互生在回忆中所说：“于是素不感觉外力欺压的痛苦的人们，这时也觉得愤激起来了！‘大家往外交部去，大家往曹汝霖家里去！’的呼声真个响彻云霄。这时候，无论怎样怯懦的人也都变成了一些有勇气的人了！”
大家决定改道向曹汝霖家走去。这时，“负总指挥的责任的傅斯年，虽恐发生意外，极力阻止勿去，却亦毫无效力了。”“那时担任总指挥的北大学生傅斯年，虽然极力阻止，说是怕出意外，但他那里挡得住群众运动的洪流呢？”
当队伍向赵家楼进发的时候，军警戒备更加森严了，便衣特务的活动也更加频繁了。
火烧赵家楼
学生队伍向曹汝霖宅进发，其游行路线是：从东交民巷西口，转北走户部街，东行，经富贵街、东户部街、东三座门大街，跨御河桥，沿东长安街经东单牌楼，往北走米市大街进石大人胡同，穿过南小街进大羊宜宾胡同，出东口沿宝珠子胡同北行到前赵家楼胡同西口，再由此往东至曹宅。
学生们在向曹宅进发的时侯，沿途又散发了许多传单，其中一张传单上写道：“民贼不容存，诛夷曹章陆”；“泣告我同胞，患莫留心腹”。
学生们边行进，边宣传，爱国热情，溢于言表，使沿途观看的群众非常感动。“许多人民看见掉泪，许多西洋人看见脱帽喝彩，又有好些巡警也掉泪。”
当日中午，曹汝霖、章宗祥正应徐世昌之邀在总统府参加宴会，主要是徐世昌为章宗祥洗尘，在座者尚有钱能训、陆宗舆等。当学生游行及要求惩办卖国贼的消息传来时，有人劝告曹等“暂留公府，不要出府回家”，但他们没有重视这一劝告，认为赤手空拳的学生是可以对付得了的。席间，徐世昌曾对钱能训（时任总理）说：“打电话令吴总监妥速解散，不许游行。”
下午3时许，曹、章回到了赵家楼胡同曹宅，由警察总监吴炳湘加派了200名警察到曹宅守卫。曹、章回到曹宅后，丁士源（亲日派，陆军部航空司长）和一个名叫中江丑吉的日本新闻记者也来了。他们都认为，学生们不至于有什么暴烈行动；即使出现什么行动，也会很快被武力驱散和制止的。
4时许，游行的学生们呼声震天，以排山倒海之势，涌到了前赵家楼胡同（亦称赵家楼胡同前街）的曹宅门前。
曹宅位置于赵家楼胡同，但其建筑并非楼房（原曹宅现在已拆除）。根据曹汝霖本人之回忆，当时该宅分为东西两院，西院均系中式房屋（包括大门及门房），东院则是一排西式平房，曹住东院。
学生到达赵家楼胡同时，曹宅内外，警察林立，门窗紧闭。学生们高呼：“卖国贼曹汝霖快出来见我！”当学生们叩击大门时，周围警察即上前阻拦，因而双方发生争执。学生们一面和警察理喻，对其宣传爱国思想，一面绕屋而行，寻找破门之路。一些学生正在不得其门而入、准备分别退走的时侯，忽然一声响亮，大门打开了。原来已经有人爬进曹宅，从里面把门打开了。一个首先冲进去的学生，回忆当时的情景说：当走到曹宅前面的时候，大多数的学生都从墙外把所持的旗帜抛入墙内，正预备着散队回校时，而那些预备牺牲的几个热烈同学，却乘着大家狂呼着的时候，早已猛力地跳上围墙上的窗洞上，把铁窗冲毁，滚入曹汝霖的住宅里去。这时曹汝霖宅内的十几个全身武装的卫兵，已被外面的呼声鼓掌声所震骇，并且受了跳进去的同学的勇猛的感动，已丧失了用武的胆量和能力，只得取下上好的利刃，退出装好的子弹，让继续跳进去的五个同学从内面把那紧闭重锁的后门（按：一说就是前门）打开！后门打开之后，如鲫如鳞的群众就一拥而入。
当学生们打进曹宅的时侯，曹汝霖、章宗祥迅速躲避起来了。学生们碰上了曹的父亲和曹妾苏佩秋，并没有伤害他（她）们，而是令警察引出去了。曹在事后给徐世昌的呈文中，说什么“生父就养京寓，半身不遂，亦被殴击”，显然是有意诬陷。曹汝霖在后来的回忆中，也不得不自打嘴巴地承认说：“对我双亲，承他们没有惊动。”
曹汝霖、章宗祥躲到什么地方去了呢？许多人以为曹已逃出曹宅了，有些人后来的回忆也这么说。其实，这只是一种推测之词。现场的情况是，曹和章一样都躲在曹宅里，并没有立即外逃。曹汝霖在他91岁的时侯，尚能清晰地回忆当时的情景：
我于仓猝间，避入一小屋（箱子间），仲和（即章宗祥）由仆引到地下锅炉房（此房小而黑）。这箱子间，一面通我妇卧室，一面通两女卧室，都有门可通。我在里面，听了砰然一大声，知道大门已撞倒了，学生蜂拥而入，只听得找曹某打他，他到哪里去了。后又听得砰砰蹦蹦玻璃碎声，知道门窗玻璃都打碎了。继又听得磁器掷地声，知道客厅书房陈饰的花瓶等物件都摔地而破了。
后又打到两女卧室，两女不在室中，即将铁床的杆柱零件，拆作武器，走出了女儿卧房，转到我妇卧房。我妇正锁了房门，独坐房中，学生即将铁杆撞开房门，问我在那里。妇答，他到总统府去吃饭，不知回来没有……我在小室，听得逼真……我想即将破门到小屋来，岂知他们一齐乱嚷，都从窗口跳出去了，这真是奇迹。
上述这段回忆，除对学生爱国行动有些攻击、愤激之词之外，所述过程，还是可信。由此可见，说曹当时已逃出宅外，是不确的。
4时30分，曹宅火起。起火的原因，有四种说法：
（一）学生放的；
（二）曹的家属放的（企图惊散群众）；
（三）电线走火；
（四）曹的仆人放的（乘乱窃物，放火灭迹）。根据许多当事人的回忆，大致可以肯定，第一种说法是正确的。学生们遍寻曹汝霖不着，愤激之中，焚毁其住宅，是合乎当时的情势的。正如第一个冲进曹宅的北师大学生匡互生所说：“因为他们到处搜不出那确实被大家证明在内开会未曾逃出的曹汝霖、陆宗舆（按：陆未在曹宅）、章宗祥，只得烧了他们借以从容商量作恶的巢穴，以泄一时的忿怒。”
放火的学生是谁呢？据一位和匡互生共同参加五四运动的目击者回忆，正是匡互生本人，他说：“学生群众走进曹宅，先要找卖国贼论理，遍找不到，匡互生遂取出预先携带的火柴，决定放火。事为段锡朋所发觉，阻止匡互生说：‘我负不了责任！’匡互生毅然回答：‘谁要你负责任！你也确实负不了责任。’结果仍旧放了火。”另一个回忆也说道：“放火的人也就是那位跳窗户开大门的某君（即指匡互生）。”还有的回忆到火起的具体情况说：“群众找不着曹汝霖更加气愤，有人在汽车房里找到一桶汽油，大家喊着‘烧掉这个贼窝’。汽油泼在小火炉上，当时火就烧起来了”。曹汝霖的回忆，也和这一情况大体相同：学生们“后到汽车房，将乘用车捣毁，取了几筒汽油，到客厅书房浇上汽油，放火燃烧。”另一位放火的目击者回忆说：“我行至曹家门外，看见穿着长衫的两个学生，在身边取出一只洋铁扁壶，内装煤油，低声说‘放火’。然后进入四合院内北房，将地毯揭起，折叠在方桌上面，泼上煤油，便用火柴燃着，霎时浓烟冒起。我跟在他们后面，亲眼看见。大家认得他俩是北京高等师范（北京师范大学前身）的学生。”
关于章宗祥的被学生殴打，是在火起之前，或是在火起之后，看来有两种不同的说法：火起之后说。如曹汝霖回忆：“仲和在锅炉房，听到上面放火，即跑出来，向后门奔走，被学生包围攒打。他们见仲和穿了晨礼服，认为是我，西装撕破。有一学生，将铁杆向他后脑打了一下，仲和即倒地……适日友中江丑吉闻讯赶到，见仲和倒在地上，他亦认识，即推开学生，将仲和连抱带拖，出了后门，藏在对面油盐店，把门而立，说日本腔的中国话，这是我的朋友，你们要打即打我，我不怕！他虽知自卫之法，亦已受铁杆打伤多处，臂背红肿，经月余才愈。”白歧昌的报告中也说：“至4时30分忽见该宅火起，驻日公使章宗祥偕同日本人中江丑吉，在曹宅门前被学生殴打，负伤，由宪兵及警察极力保护，未致生有他虞。”和匡互生一起参加运动的那位同学，也作了大体相同的回忆：“当学生正在宅内肆意捣毁，房屋也已燃烧起来的时候，我们看见有几个警察和许多佣人围护着一个老太婆和一个年轻女子慌张出来夺门而去，因为她们不是曹章陆，我们就放走了，据说这个老太婆是曹母，年轻女子是曹妾李佩秋（按：应为苏佩秋）。我们又见几个警察和许多佣人围护着两个穿西装的中年男子逃出去，许多学生跟着追赶，见他们逃进一个小杂货店内，就把这二人拖出来推倒在地，用手执的小旗杆子对着当头乱打，打得一个人头破血淋，另一个人宁愿自己挨打，拼命保护他。不久大队警察赶到，一齐舞起木棍和指挥刀来驱散群众；我们也恐怕打错了人，不是卖国贼而是日本人，因而松了手。到明天报上一看知道被打得头破血淋的正是卖国贼章宗祥，而拼命保护他的是一个日本人，大家懊悔不止。”