在荷兰做了三年公使以后,1797年亚当斯又被任命为驻葡萄牙公使。他正在赶赴葡萄牙的路上,这项任命又出了意外。原来,在这个时候,他的父亲老亚当斯接替华盛顿成为了美国第二任总统。父亲当上了总统,小亚当斯也没有因此而升官,只是被改派为了驻普鲁士公使。
在欧洲担任外交职务时,在伦敦的一次短暂停留期间,亚当斯遇到了美国驻英公使的女儿露易莎·凯瑟琳·约翰逊,并与她结了婚。露易莎生性暴躁,又常年疾病缠身,婚后的25年里一直未能真正了解丈夫。
1801年,亚当斯夫妇带着孩子回到美国。这时老亚当斯总统已经卸任,亚当斯未能再获得外交官职位,只好回波士顿重执律师业。
没有干多久,亚当斯又立即投身政治舞台,当选马萨诸塞州参议员,进而进入美国参议院。同时,由于富有外交经验,他还被聘为哈佛学院修辞学和辩论学教授。这一时期,他成了国内政坛上最活跃的青年政治家之一,政治声望不断上升。
由于受父亲影响,亚当斯也加入了联邦党。虽然是联邦党人,亚当斯却对民主共和党身份的杰斐逊持支持态度。杰斐逊总统决定购买路易斯安那时,亚当斯投票支持;杰斐逊支持的《禁运法案》,小亚当斯也支持。
作为联邦党成员,却大力支持民主共和党的总统,亚当斯的这种行为自然不被联邦党人接受。于是,联邦党内开始谋划把亚当斯排挤出参议院。1808年,联邦党控制的马萨诸塞州举行议会选举,亚当斯竞选失败,被迫离开美国参议院,进入哈佛大学任教。
在联邦党人排挤了亚当斯之后,民主共和党人却向亚当斯伸出了友谊之手。1809年,麦迪逊成为美国总统后,任命亚当斯成为驻俄公使。
此时,亚当斯已经进入中年,他的思想更加成熟,外交经验丰富。更为重要的是,当时欧洲的大局就是和拿破仑作战,作为一个驻俄公使,亚当斯从心里对俄国对法国的抵制非常认同。
因为这种发自内心的认同感,亚当斯很快就和俄国沙皇亚历山大建立了很好的个人关系。凭借这个关系,亚当斯成功说服俄国,允许中立的美国船可以自由进入俄国港口。
1812年英美战争持续了一段时间以后,英美两国都不想再打下去了。1813年,麦迪逊总统指派亚当斯,率领一个代表团和英国进行谈判。谈判进行得十分艰苦,一直持续到1814年圣诞前夕,双方才达成《根特条约》,最终结束了英美战争。
这个条约虽然没有彻底解决英美关系问题,但它恢复了英美两国战前边界状态,让美国在一定程度上摆脱了英国的殖民压榨,这为美国的独立发展奠定了基础。
英美战争结束之后,亚当斯又被任命为驻英公使,1815年,他与英国签订了《贸易公约》,这为英美两国贸易正常化,乃至两国关系正常化都起到了重要作用。
亚当斯的外交才能在麦迪逊任总统期间得到了充分的发挥,这让下一任总统门罗也对亚当斯刮目相看。1817年,门罗总统任命小亚当斯担任国务卿。
亚当斯的国务卿做得非常成功,在任职期间,他和英国签订了《1818年公约》,让美国获得了加拿大海岸以外特定海域的捕鱼权;他与西班牙签订《亚当斯—欧尼斯条约》,以500万美元的代价,把西班牙控制的佛罗里达转让给美国。
亚当斯担任国务卿期间,尤其值得一提的是,他促进了“门罗主义”的形成。当时,英国建议美国和英国联合,不让其他欧洲国家插手美洲事务。当时,连威望很高的前总统杰斐逊,都建议门罗总统接受英国建议。
但亚当斯却主张不要接受英国建议,而是由美国单方面宣布,不让欧洲国家插手美洲事务。这样一来,就把英国也排挤在了美洲之外。门罗总统接受了亚当斯的这一主张,并逐渐发展成为了著名的“门罗主义”。
事后证明,亚当斯的这个建议确实更符合美国利益。后人认为,在“门罗主义”形成过程中,亚当斯的贡献实际上已经超过了门罗总统本人。
亚当斯的这段外交生涯是成功的,他也因此被后世评为“最有才华、成就最高的国务卿之一”“能干的外交官”。