1921年2月24日，美国参议员博拉在国会提出议案，主张召开一次国际会议，讨论限制英、美、日三大海军国的海军军备问题和可能引起战争的远东、太平洋问题。5月26日，美国参议院通过了上述议案；6月29日，议案在众议院也获通过。英国首相劳合·乔治于6月初在帝国会议开会时表示，欢迎美国关于召开限制海军军备会议的建议。7月6日，英国通过它的驻美大使格迪斯，正式向美国建议召开英、美、日三国太平洋会议。7月8日，美国总统哈定指示国务卿休斯向有关国家发出非正式邀请。当时，除了邀请英国、日本外，还邀请法国、意大利和中国参加。这样做，对美国是有利的。因为有中国参加，美国就可以利用中国人民反对日本侵略者的怒火，对日本施加压力，迫使日本同意美国提议的限制军备计划，同时又可以借此摆出支持中国的姿态，骗取中国人民的信任；法国在远东也有属地和经济利益，经常与英国发生冲突，美国可以利用法英的矛盾在会上钳制英国；意大利号称五强之一，如果会上发生了争执，可以利用它来缓和与会国的矛盾。
英、法、意以及中国政府接到美国的非正式邀请后，都赞成举行会议，只有日本政府迟疑不决。它既害怕英、美联合起来在会上逼它交出在中国的既得利益，又怕不出席会遭到世界舆论的谴责，在外交上陷于孤立。日本宪政会的机关报《读卖新闻》警告说，日本将作为被告到会受审。有人甚至认为，这是“帝国兴废的关头”。日本政府经过再三考虑，到7月27日才作出回答，希望这次会议主要讨论限制军备问题，避免涉及“任何特殊国家”或“已成事实”的问题。所谓“特殊国家”、“已成事实”，就是指日本在中国山东的利益及“二十一条”等日中之间的各种问题。经反复磋商，美国同意了日本的要求。
1921年8月11日，美国向英、法、意、日、中五国发出正式邀请。邀请书的第一部分写到：巨额军费开支造成了沉重的经济负担，消耗了大量的人力，以致侵害了“社会之安定、正义之保持、和平之确定”。目前有关各国会同讨论裁减军备的时机已到，而首先应讨论限制海军军备问题。邀请书的第二部分指出，须有要求和平的意愿并消除国家间误会，裁减军备才有成功的可能，因而在对太平洋及远东有关问题的讨论中应该遵循尊重友谊、去除争端的原则。对中国的邀请书，只有第二部分的内容，略去了第一部分。9月21日，美国国务院公布了拟定的议事日程，确定会议将讨论两大问题，即限制军备问题与太平洋及远东问题。英、法、意、中等国当即表示同意。9月27日，日本也正式答复同意参加会议。
后来，荷兰、葡萄牙、比利时等国政府表示，它们都是太平洋地区利益有关的国家，要求参加这次会议。10月4日，美国对上述三国又补发了邀请书。
从表面上看，美、英、日各国参加华盛顿会议，都是为了安定社会、保持正义、确立和平这些冠冕堂皇的目的，但实际上，它们各有自己的如意算盘。美国的企图是限制英、日海军的扩张，排挤日本在中国的势力，进一步推行门户开放政策，取得在巴黎和会上没有取得的利益，为逐步夺取远东、太平洋地区的霸权创造条件，或者如美国国务卿休斯所说，建立一种美国支配下的和平；同时，通过裁减军备，提高执政的共和党的声望。美国的策略是拆散英日同盟，联合英国，抑制日本。英国和日本都想在保持既得利益的前提下，削弱对方，进而捞取更多的好处。英国的策略是尽量不得罪美、日两国，但基本倾向是疏远日本，接近美国，也就是英国首相劳合·乔治所说的，首先要同美国友好合作，其次是维持同日本的亲善与协作。日本政府则坚持不论在裁减军备或缔结盟约方面，都必须“以维持日本在中国的特殊利益为原则。”
在邀请中国、前苏联出席会议的问题上，列强的帝国主义面目暴露无遗。
当时，中国处于军阀混战、南北对峙的局面，只有孙中山担任非常大总统的中华民国政府才能代表中国人民的利益。但是，美国却只承认北京的北洋军阀政府，而拒绝民国政府派代表参加会议。于是民国政府向全世界宣布，华盛顿会议既无中国人民的代表参加，中华民国政府对会议的一切决议将不予承认。
华盛顿会议没有邀请苏维埃社会主义联邦共和国参加。为此，苏维联政府于1921年7月19日向美、英、日、法、中等国发出照会，对排斥前苏联参加这次会议提出了抗议，并宣布：没有前苏联参加而通过的任何决议都没有法律效力。11月21日，前苏联又重申了它的抗议。但是，华盛顿会议仍在没有前苏联参加的情况下召开了。
1921年11月12日，“华盛顿限制军备会议”在美国首都美国革命女儿会大厦开幕。
这一天，会场内着意渲染了和平气氛：装饰了许多棕榈叶，摆设了“U”字形的会议桌，桌上覆盖着绿色台布，桌后树立着美、英、法、意、日、比、荷、葡、中9国的国旗。会场附近，挤满了好奇的人群，都想目睹各国代表的风采。时钟敲了10响以后，一个个头戴礼帽，身穿礼服的代表陆续进入会场。
美国政府为了欺骗民众，粉饰太平，早在开会以前，就大肆宣扬这次会议是为了谋求和平，吹嘘这是在世界外交史上第一次允许新闻记者采访的会议，从此就没有秘密外交了。但事实上，会议仍作了严格限制，规定只有在举行全体大会时，新闻界人士才可进入场内专设的席位，美国官员和持有入场券的人员才可进入各包厢旁听；报纸上也只能发表各国代表在全体大会上的演说。
上午10点半钟，与会代表按下列顺序就座：英、美两国代表分别在“U”字形会议桌下方的左、右两边；会议桌左侧是另一些英国代表和意大利的代表，右侧是法国和日本的代表；会议桌的上方，左边是比利时、荷兰的代表，右边是葡萄牙、中国的代表。参加会议的各国首席代表是：美国国务卿休斯，英国枢密院大臣贝尔福（其代表团成员还有英国的自治领加拿大、澳大利亚、新西兰及殖民地印度的代表），法国总理白里安，意大利前财政大臣卡洛·香泽，日本海军大臣加藤友三郎，荷兰外交大臣柯尼碧克，比利时驻美大使卡德，葡萄牙驻美大使阿尔戴，中国北洋军阀政府驻美公使施肇基。
会议开始，美国哈定总统致了开幕词。他说，这次会议的目的在于“减少战争，增进和平……减轻负担，改善现状”。他坦言美国没有征服他人的企图，美国对自己已拥有的东西感到满足，对其他国家拥有的东西并不觊觎。
哈定总统致词后，经贝尔福建议，大会一致通过由休斯担任大会主席。休斯提出了会议组织方面的建议。11月14日，大会通过了休斯的建议，除了9国代表参加的全体大会以外，还分设了两个委员会，一个是由英、美、法、意、日5国代表组成的限制军备委员会，另一个是由9国代表参加的太平洋及远东问题委员会。两个委员会的主席都由休斯担任。休斯在华盛顿会议上扮演了极为重要的角色。后来，两个委员会下面又分别设立了一些起草小组或专门问题小组。
会议期间，全体大会共开了7次，都只是听取正式报告、批准两个委员会达成的协议，并不进行实质性的辩论。两个委员会的工作都是秘密进行的，只有得到委员会主席或各国代表同意方可公开。许多重要问题都由美、英、日、法4国首席代表在秘密会议上决定，有时甚至只由休斯、贝尔福和加藤友三郎三人私下商定。所谓“公开外交”，只是一句空话。一些老练的新闻记者认为，华盛顿会议关于一些重大问题的决议，其保密程度并不亚于巴黎和会。“四国公约”的缔结，仍然是秘密外交的产物。