在国内外各方面的压力下，北京政府决定继续中苏谈判。苏联政府也不希望因此破裂，使“协定”流产。于是，由北京政府驻莫斯科代表李家鏊向苏联政府外交部接洽，苏联政府也派陆军次长安德诺夫来华调查，北京政府外交部参事朱鹤翔遂于5月22日与苏联驻华代表商谈恢复“协定”交涉。当时，苏联驻华代表对中国外交当局受北京外交使团压迫表示不满，于是双方商定，以极秘密方式进行交涉。自5月22日起至5月31日止，苏联方面借日苏交涉以转移北京各国外交使团的注意，北京政府方面则由外交部参事朱鹤翔等白天在顾维钧家中闭门磋商，夜间赴苏联驻华代表处交换意见。10日间，谈判20次，终于得到苏联驻华代表对北京政府所提三点意见的让步，中苏双方并同意修正两点，即庚子赔款问题与取消在华特权问题，谈判终于成功，北京政府外交部马上呈请大总统指令委任全权签约。31日，两国代表便在外交部举行中苏协定的正式签字仪式，在当时对国内外产生了广泛影响。
中苏协定，包括《中俄解决悬案大纲协定》正文十五条，《暂行管理中东铁路协定》十一条及声明书七种、换文二件及议定书一件（密件）。
《中俄解决悬案大纲协定》内容如下：
（1）协定签订后，两国恢复使领关系。中国政府设法将前俄使领馆舍移交苏联政府。
（2）协定签字后一个月内举行会议，商定一切悬案之详细办法。“此项详细办法，应从速完竣，但无论如何，至迟不得过自前项会议开始之日起6个月。”
（3）中国与帝俄签订的一切条约、协定等“概行废止”，“另本平等、相互公平之原则，暨1919与1920两年苏联政府各宣言之精神，重订条约、协约、协定等项。”
（4）苏联政府声明：“前俄帝国政府与第三者所订立之一切条约、协定等项，有妨碍中国主权及利益者，概为无效。”两国声明：“嗣后无论何方政府，不订立有损对方缔约国主权及利益之条约及协定。”
（5）“苏联政府承认外蒙为完全中华民国之一部分，及尊重在该领土内中国之主权。”并声明撤退外蒙苏军。
（6）两国在各自境内“不准有为图谋以暴力反对对方政府而成立之各种机关或团体之存在及举动；并允诺，彼此不为与对方国公共秩序、社会组织相反对立宣传”。
（7）在第二条规定召开的中苏会议中：①“将彼此疆界，重行划定”，未划定前，维持现有疆界；②按照相互平等原则解决两国边界江湖及他种流域上的航行问题；③订立商约并规定平等关税税则；④讨论赔款损失之要求。
（8）在中苏会议中根据以下原则，解决中东铁路问题：①中东铁路纯系商业性质，“所有关系中国国家及地方主权之各项事务，如司法、民政、军务、警务、市政、地亩（除铁路自用地皮外）等，概由中国政府办理。”；②中国可以中国资本赎回中东铁路及所属一切财产，并“解决赎路之款额及条件暨移交中东路之手续”；未经解决前，特行规定暂行管理中东铁路办法；③中东铁路之前途，只能由中俄两国取决，不许第三者干涉。”④未将中东铁路各项事宜解决以前，两国政府根据1896年9月8日所订中俄合办东省铁路合同所有之权利，与本协定及暂行管理中东铁路协定暨中国主权不相抵触者，仍为有效。
（9）苏联政府放弃前俄国政府在中国境内的一切租界等等之特权及特许；放弃庚子赔款的俄国部分；取消治外法权与领事裁判权。
《暂行管理中东铁路协定》十一条，内容如下：
（1）理事会由中苏两国各选派理事五人组成。中国政府派定华理事一人为理事长，即督办；苏联政府派定俄理事一人为副理长，即会办。理事会所有一切取决须得六人以上同意方有执行效力。理事会商议路务不能解决时，呈报缔约国政府解决，但关于预算、决算事项不在此限。
（2）监事会由监察五人组成。华监察二人，俄监察三人，会长由华监察中选举。
（3）局长一人由俄人充任；副局长二人，华俄各一，均由理事会委派，由各国该政府核准。
（4）处长、副处长由理事会委派。如处长为华人时，副处长须用俄人；处长为俄人时，副处长须用华人。铁路各级人员，按两国平均分配原则任用。
（5）铁路之预算、决算，由理事会提交理事会及监察会之联席会议核准。
（6）铁路所有实利，由理事会保管，在本铁路根本办法未经解决以前，不得动用。
（7）理事会应将原中东铁路公司章程，按本协定及《中俄解决悬案大纲协定》从速改订。但无论如何，至迟不得过自理事会成立之日起6个月。未改订前该项章程与《中俄解决悬案大纲协定》不相抵触暨不妨碍中国主权者，仍予继续适用。
这些协议中比较重要的有：
大纲协定第四条的声明：“双方了解，中国政府对于俄国自帝俄政府以来凡与第三者所立之一切条约、协定等等，其有妨碍中国主权及利益者，无论将来或现在，均不承认为有效。”
暂行管理中东铁路协定第五条所规定的两国人民平均分配充任之原则的解释，指出：“此项原则之适用不得解作以撤换现在俄籍人员为实行该原则唯一之意见。再，双方了解，所有各项位置，应唯两缔约国人民平等充任，不得对于何方人民表示区别待遇，且各项位置应照谋事者之能力、技术及教育、资格补充。”
以及关于俄国部分庚子赔款充作中国教育款项的声明。
换文二件载明停止在中国军警机关任职之旧俄人员职务。
这次签订《中俄解决悬案大纲协定》等法律协定是中国对外关系史上的重大事件。按协定的规定，中苏双方于1924年7月17日决定互派大使级外交官，苏方委派加拉罕为首任驻华大使，并于7月31日递交了国书，北京政府迟至1925年5月30日才任命孙宝琦为驻苏大使，但苏联仍是与中国第一个建立大使级外交关系的国家。这个协定是一个平等条约。从1840年中英鸦片战争起，中国与西方资本主义列强（包括沙俄）签订了一系列丧权辱国的条约，使中国一步一步地陷入了半殖民地的深渊，只有苏联在中国近代历史上第一次废除了过去沙皇俄国强加给中国的不平等条约，尽管在中东铁路和外蒙问题上没有解决实际问题，在《暂行管理中东铁路协定》规定掌握实权的局长由苏联委派，并在铁路其他职位的分配等问题上苏联方面占有优势，但按照“协定”毕竟是暂时的。从总的方面看，从主流来看，《中俄解决悬案大纲协定》的签订对正在争取民族独立的半殖民地的中国人民是一个极大的鼓舞，得到中国人民的热烈拥护，也成为中国20世纪对外关系史上第一件振奋人心的成果。
三、北京政府的修约外交
20年代中期，中国国民革命的迅猛发展，特别是工人运动高潮的出现，极大地震慑了帝国主义侵华势力。第一次世界大战时，侵华利益急剧膨胀起来的日本帝国主义和战后伙同美国卷土重来的英帝国主义，尤为疯狂地镇压中国工运，破坏中国革命，“五卅”反帝爱国运动随之爆发。1925年2月，上海日商内外棉五厂一名童工遭监工以铁棍殴打致死，引起公愤，激起日商内外棉各厂以及其他日商纱厂总计22家、3500余工人罢工。经上海各团体调解，日方厂主虽作了一些表面让步，但仍倒行逆施开除数名为首的工人，7厂资方不许工人上班，工人群起质问，并要求发给工资。在工人们群情激愤愈演愈烈的情况下，无以置对的两名日人领班突然向工人开枪，工人顾正红、王福全当即中弹身亡，3人负重伤，轻伤更多。日方厂主召巡捕前来镇压，工人激愤益深，坚聚不散，应召前来镇压的英租界当局雇用的印度籍巡捕又开枪击伤1名女工，拘捕工人数名。“五卅”惨案发生后，上海各界民众异常愤怒，工人罢工、学生****、商人罢市相继开始。然而，英租界当局一意孤行，策划以更凶残的手段扑灭中国民众的反帝怒火。驻沪英总领事会商各国驻沪领事团，调集万国“义勇军”及驻沪外国兵舰水兵登岸，宣布特别戒严，凡见示威演讲者概以武力驱散。仅10余日内，又重演惨剧达9次之多，共打死工人、学生60余人，重伤70余人，同时以武力强行关闭解散了一大批大、中学校，实行强制镇压政策，妄图扑灭中国人民的反抗。
1924年11月，北京成立的段祺瑞临时政府是个军阀混合政府，对政权有巨大影响的是张作霖，段祺瑞控制不了实权。“五卅”惨案发生前，临时执政府刚与法国办理完金法郎案，风闻张作霖将入关查账，忐忑不安的段祺瑞惟恐政权不保，正期盼着发生重大外交问题，来找政府不宜改组的口实。恰巧“五卅”惨案发生，临时执政府特别会决定避实求虚，不向元凶英、日公使提出抗议，反而向与惨案无关的北京公使团领袖意大利公使提出抗议。因为，临时执政府自办理金法郎案以来，急于召开关税特别会议，乞求帝国主义各国同意提高些中国海关关税，以维持其反动统治。所以，临时执政府怎敢得罪长期把持着中国海关关税的英国？为给英国开脱罪责，临时执政府外交部于6月1日、4日和11日就“五卅”惨案向驻京公使团连发了3次抗议照会，驻京公使团也于6月4日、6日和12日3次复照。北京政府的抗议照会不仅不敢表明立场向英、日问罪，而且措辞含糊、软弱无力，将帝国主义的暴行说成是“蔑视人道”、“为人道及公理所不容”，将租界当局蛮横取缔学生及市民的和平示威行动说成是“系属失当”等等。最后以英工部局属核准两名杀人凶手辞职，用75000元抚恤费支付死难者草草了事。
但中国人民已开始觉醒，1925年是中国工人运动空前高涨的一年。仅“五卅”事件前后，上海工人罢工就达135起。惨案发生后，直接参加罢工者有100万人，间接参加者有1000万人。6月6日，中国共产党发表《为反抗帝国主义野蛮残暴的大屠杀告全国民众》的声明。声明指出：“这次上海事件的性质既不是偶然的，更不是法律的，完全是政治的。因为这次事变是起于日本帝国主义向中国民族运动的主力军——工人阶级进攻，而成于英国帝国主义对援助工人的民族运动之铁血镇压政策。”所以，“这争斗的得失将不以英、日帝国主义是否允许惩凶赔偿、道歉为转移”，“解决之道不在法律而在政治，所以应认定废除一切不平等条约，推翻帝国主义在中国的一切特权为其主要目的。”6月7日，上海工商学联合会提出17条交涉条件（4条先决条件与13条正式条件），要求工部局即速履行。4条先决条件包括取消戒严、撤退海军陆战队并解除商团及巡捕武装，送回所有被捕华人、恢复公共租界被封及被占据各校的原状。13条正式条件包括惩凶、赔偿、道歉、撤换工部局总书记、华人在租界有言论集会出版的自由、优待工人、添设华捕头、撤销侵害中国主权的三项税案、工部局不得越出租界外修筑马路、收回会审公廨、工部局投票权案、取消领事裁判权，以及永远撤退驻沪英、日海陆军。显然，交涉条件已完全越出仅就法律解决“了事”的虚文，部分条件旨在废除不平等条约，推翻帝国主义在华特权，尤其是撤废英、日帝国主义的部分特殊权益。6月13日，经上海总商会修改后的13条交涉条件，基本上保留了17条的内容。虽然这些条件没有得到帝国主义的承认，但人民提出的修改不平等条约的要求却给北京政府以巨大的压力。
北京政府便于1925年下半年重新提出召开北京关税特别会议。本来该会议依照华盛顿会议的关于中国税则条约应在九国公约批准后3个月内召开。但西方各国借口中法之间的金法郎案（因法郎战后贬值，法国政府要求中国用黄金偿还法国部分庚子赔款案）未解决，法国政府拒绝批准华盛顿会议条约。其实该案和关税会议并无特别关系，各国则以此为借口不参加会议。而北京政府为急于开成关税会议以达增加税收之目的，不得已对法国让步，解决金法郎案（中国约计损失8600万元），才使各国同意参加北京关税会议。
1925年10月26日，关税会议在北京开幕。参加国有中、英、美、法、日、意大利、比利时、荷兰、葡萄牙等9国外，还加上丹麦、西班牙、瑞典、挪威。中国代表王正廷提出中国实行关税自主办法：与会各国承认中国关税自主，中国裁厘与实行自主税率同时进行，至迟不过1929年1月1日；在此之前，除现有5％税率外，再加征5％的临时附加税，烟酒等甲、乙种奢侈品加征20％—30％的附加税；附加税自条约签字后3个月内征收；此方法自签字后立即生效等5项。
各国代表除表“同情”外，均避而不谈实质问题，11月19日，关税会议通过的决议，内容空洞，对北京政府最关心的增税问题并未涉及。逼得王正廷公开提出中国政府希望通过关税调整增收1亿元。但各国对此提出的对应方案却相距甚远。为此，会议混乱不堪，帝国主义各国最后背着中国政府在1926年3月25日达成一个共同方案，决定实行自2．5％至22．5％的7级税率，使中国增税9千万元。这一方案得到北京政府的同意。但此时，直奉军阀打倒了段祺瑞内阁，各国马上推翻原议，后又借口天气太热无法开会，迫使中国政府同意在1926年7月23日无限期休会，关税会议中止。但由于北京政府经济情况恶化，在向列强事先融通后于1927年2月1日起下令实行2．5％的附加税和5％的奢侈品的附加税。还命各驻外使馆婉告列强：此举实为不得已而为之，万望体谅。
关税会议开始后，北京政府原想同时召开解决取消领事裁判权的国际会议，但西方各国不同意，坚持先调查情况，然后才能给予讨论是否取消领事裁判权问题。这样在1926年1月12日，中、英、法、美、日、意、比、丹、葡、荷、西、挪威等国参加北京调查法权会议。会议开始，北京政府司法总长表示希望该会能达到早日废除领事裁判权，使中国能得到司法完整之目的。但帝国主义并不希望立即废除它们在华的领事裁判权。所以，会议从审查北京政府判定的各项法典开始，到全国部分地区进行司法调查，历时数月之后，于7月1日起在京起草报告书。9月16日提出报告，一方面用大量篇幅描述中国司法机构中的弊端腐败，一方面吹嘘领事裁判权是中国实行现代司法制度的“范本”，对促进中国司法制度改善有推动作用，实质上是继续保持外国在华的领事裁判权。而且，在11月29日会议秘书处该报告书的摘要发表，令北京政府相当难堪，但又不敢抗争，致使法权会议毫无结果。
然而，全国人民要求废除不平等条约的呼声强烈，迫使北京政府也对一些条约期限已满的不平等条约作些修改，使之符合关税自主和废除领事裁判权的目的，这些行动被称为“修约外交。”