1957年莫斯科会议以后，苏共中央第一书记赫鲁晓夫把《莫斯科宣言》抛在脑后。他仍然坚持那种“父子国”、“父子党”的家长式的武断态度，盛气凌人，对中国和中国党的内部事务横加干涉。中国共产党和中国人民感到受屈辱。对赫鲁晓夫的这一套进行严正批评和坚决抵制。从1958年年中开始，发生了一系列事件，导致中苏关系恶化。胡乔木参与了批评和抵制赫鲁晓夫的斗争。1960年6月，胡乔木和吴冷西一起在邓小平直接领导下起草了中共代表团在布加勒斯特会议上谴责赫鲁晓夫的声明。1960年8、9月间，胡乔木又参与起草了中共中央《对苏共中央六月二十一日通知书的答复书》（简称《答复书》）。布加勒斯特会议议定，在1960年11月十月革命四十三周年之际，在莫斯科召开世界八十一国共产党和工人党参加的会议。事先由十二个社会主义国家和十四个资本主义国家共产党和工人党代表组成二十六党起草委员会，为会议起草文件。文件起草过程中，发生了激烈的争论，最终达成协议，发表了《莫斯科声明》。胡乔木作为起草委员会中国代表团成员之一，参加了起草的全过程，作出了重要的贡献。
1960年9月16日，胡乔木作为中共代表团团员随代表团团长邓小平到达莫斯科，参加9月17日至22日举行的中苏两党会谈。苏方参加谈判的人员有苏斯洛夫（团长）、科兹洛夫、库西宁、波斯别洛夫、波诺马廖夫、安德罗波夫、格里申、伊利切夫、康斯坦丁诺夫和契尔沃年科等十人。
9月17日，举行第一次会谈。苏斯洛夫首先发言，对中共中央的《答复书》进行反驳，并重复对中共的攻击。针对苏斯洛夫的长篇发言，邓小平当即作了答复。邓小平指出，你们那个《通知书》性质是很严重的，我们的这个《答复书》是由你们那个《通知书》引起的。布加勒斯特会议后，赫鲁晓夫多次攻击中共领导人，还把我们之间的分歧扩大到国家关系上，采取撤退专家、撕毁合同一系列严重的行动，所以我们的《答复书》不能不提这些问题，不能不就这些问题做出回答。现在你们看了我们的答复，没有一点自我批评。我们的代表团感到十分遗憾。在会议结束时，邓小平质问：你们究竟要把中苏之间的意识形态的分歧引到什么地方去？希望你们慎重考虑，做出认真的答复。
18日，邓小平在中国驻苏使馆主持代表团会议，研究苏斯洛夫的发言，讨论邓小平在下次（19日）会议上的发言内容。根据会上讨论意见，胡乔木起草了邓小平下次会上的发言提纲。
19日，举行第二次会谈。苏方又抢先发言。这回发言的是刚从列宁格勒书记提为政治局委员的科兹洛夫。他同样指责中共的《答复书》。诬指分歧是由中共引起的，说中共的《答复书》挑拨苏联跟波兰、匈牙利的关系，说苏共二十大后的反共浪潮同大反斯大林没有关系，中共制造思想混乱，诋毁他们党的领袖赫鲁晓夫。邓小平、彭真先后发言反驳科兹洛夫。他们一致指出，不要诡辩，不能逃避事实，必须面对事实。苏共中央犯了错误，错了就是错了，应该承认。苏共方面与会者争相辩驳。邓小平说，今天会谈到此休会，对苏方两个发言，我们将做系统答复。
9月20日，举行第三次会谈。邓小平做系统发言。发言提纲是胡乔木18日起草、19日又作了修改的。针对前两次会上苏方的两个发言，邓小平主要讲了两个问题，一个是敌我关系问题，一个是兄弟党的关系问题。邓小平指出，苏共领导一方面美化美帝国主义，一方面大肆反华，把两党之间的思想分歧扩大到国家关系方面，把同敌人的关系和同兄弟党的关系摆错了位置。邓小平追溯历史，指出苏共中央在朝鲜战争以后，在刚果问题、阿尔及利亚问题、匈牙利事件等一系列问题上颠倒敌我关系，以敌为友、以友为敌的错误，特别是在中印冲突中发表塔斯社声明以后美化反动派，攻击兄弟党。在对美国态度上更是这样，赫鲁晓夫大捧艾森豪威尔，骂中国“要试探资本主义的稳定性”，说中国是“不战不和的托洛茨基主义”等等，在一系列问题上颠倒了敌我关系。邓小平指出，多少年来，你们就不是以平等的兄弟国家的态度对待中国，而是以父子国的态度对待中国。中国不听，就要控制中国。邓小平列举共同舰队问题、长波电台问题、撤退专家撕毁协议问题、封闭《友好》杂志在苏联发行的问题、要挑起边境纠纷的问题以及在华沙条约国首脑会议宴会上赫鲁晓夫大骂中国党、大骂毛泽东主席，等等，统统讲了出来。邓小平正告他们，必须改变多少年来他们对待中国的态度，想用少数服从多数的原则把自己的意见强加于人并使那种“父子党”的关系合法化是徒然的，还是要回到兄弟党、兄弟国家的准则上来，以加强中苏两党两国的团结，反对共同的敌人。但是苏联方面根本听不进去，顽固地坚持他们的僵硬立场。
第三次会谈以后，中共代表团感到两党会谈难以继续下去，不妨把问题推迟到起草委员会会议上去讨论。在请示中央得到同意后，在21日会谈时提出：目前两党分歧很大，一时难以谈妥，可以考虑两党会谈就此告一段落，没有解决的问题到起草委员会开会时再谈。苏方表示同意。这样，两党会谈争论一场后无果而散，中共代表团于9月22日启程回国。
代表团回国后，9月24日晚，在毛泽东处向中央常委扼要汇报了中苏两党会谈情况。毛泽东肯定这次会谈中共代表团的做法，指出：我们的方针是从团结出发，经过斗争达到新的基础上的团结。要放手斗，但以不破裂为原则。将来在二十六党的起草委员会上，我们也要采取这样的方针，在召开全世界共产党工人党会议时也采取这个方针。争取达成协议，但也不怕分裂。我们的总方针是坚持原则，坚持团结，坚决斗争，留有余地。刘少奇、周恩来也肯定代表团在莫斯科斗得好，抓住要害，猛攻一顿，最后双方还是同意以后继续谈，没有破裂。但是要准备在二十六党的会上斗争会更加复杂、更加激烈。
1960年9月30日，参加二十六党起草委员会的中共代表团在团长邓小平率领下，分两路从北京起程，先后飞抵莫斯科。胡乔木为代表团团员之一。
10月1日，举行首次会议。苏共提出了《莫斯科会议声明（草案）》。与会各党代表同意以此为讨论的文本。会议决定成立大会秘书处，负责修改文件草案，每个党都派一至两人来参加。胡乔木和康生代表中共参加大会秘书处。
10月1日至4日，邓小平和彭真在中国驻苏使馆主持召开代表团会议，研究苏共提出的《莫斯科会议声明（草案）》，酝酿并讨论了邓小平将要到会上发言的内容。胡乔木起草了邓小平的正式讲话稿。经邓小平、彭真及代表团成员多次讨论修改，由邓小平定稿后发往国内向中央请示。中央对稿子表示满意，只作了个别文字改动。
10月5日，邓小平在起草委员会第三次会议上作正式讲话。讲话就时代问题、帝国主义、民族解放运动、战争与和平、和平共处、资本主义国家党面临的形势、任务和策略、和平过渡、反对修正主义和教条主义的斗争、马克思列宁主义的发展等问题，阐明了中国共产党的立场，反驳和批判了苏共草案中影射攻击中共的所谓“滚到与马列主义背道而驰的民族主义”、所谓“不依靠相互援助和单干”、所谓“集团活动和派别活动”等提法。邓小平的讲话阐明了中国共产党一向坚持反对各种形式的民族主义，特别是大国沙文主义；阐明了社会主义各国关系准则和兄弟党的关系准则；指出兄弟国家之间应该相互援助、相互支持，而不能把这种援助和支持看作是什么恩惠，反过来当作施加压力的手段。讲话再次申明，反对把一个国家一个党的意见强加给别国别党；反对那种“父子国”、“父子党”的不平等关系；反对对不同意见的党不坚持协商的原则，甚至给别的党戴上“少数派别”的帽子，等等。
会议上的争论最终必须落实到会议文件上来。从10月1日至9日，胡乔木和代表团的顾问们一起，一字一句地研究了苏共提出的草案，逐章逐节地起草了修改意见。经邓小平、彭真和代表团其他成员讨论修改，成为中共代表团对苏共草案的修改方案。并译成俄、英等文本，通过大会秘书处发给与会各党代表团。
大会秘书处从10月10日开始举行由各党代表参加的集中讨论修改草案的会议，到21日为止共召开了11次会议。胡乔木和康生作为中共代表团方面的人员参加了这些会议。在苏共代表波诺马廖夫主持下，各党代表对草案从头至尾逐章逐节认真讨论。胡乔木和康生按照中共代表团已经准备好的修改文本，有理有据地逐条陈述意见。胡乔木在会上非常活跃，每一次会都发言，成段的发言就有十多次。涉及的问题有时代的性质、资本主义总危机、战争的危险性、核武器和裁军、和平过渡、反对修正主义和教条主义、“民族共产主义”、对苏共二十大和二十一大的评价、“个人迷信”、“单干”、“集团活动”和“派别活动”，等等。涉及我们必须坚持的原则问题，胡乔木寸步不让，或加以阐述，或进行驳斥。