早在1952年底，准备召开中共八大就提上了中央政治局的议事日程。其间由于种种原因，直到1955年3月党的全国代表会议才作出召开中共八大的决定。毛泽东在31日作会议结论时宣布：中央决定于1956年下半年召开党的八大。八大的议程有三个：（一）中央委员会的工作报告；（二）修改党章；（三）选举中央委员。他要求，1956年7月以前完成代表的选举和文件的准备工作。1955年10月4日至11日举行的七届六中全会通过关于召开八大的决议，并决定八大增加一项议程：“关于发展国民经济的第二个五年计划的指示”。
毛泽东非常重视八大文件的起草。他在七届六中全会上说：八大会标志我们党前进一步。而要开好这次大会，使党更上一层楼，关键在于有好的文件。当时，起草八大的政治报告、党章和修改党章报告、第二个五年计划建议和建议的报告，称为筹备八大的“三大工程”。这“三大工程”分别由刘少奇、邓小平、周恩来主持。为起草好八大文件，5月9日，中央政治局会议通过由刘少奇负责的政治报告起草委员会组成成员名单和由邓小平负责的修改党章报告及党的章程起草委员会组成成员名单。第二个五年计划建议和建议报告由周恩来组织国家计委人员起草。胡乔木同时担任政治报告与党章和党章修改报告两个文件起草委员会的委员。
在1955年5月至1956年9月八大召开这一年多时间里，他全身心地投入了八大政治报告与党章和党章修改报告的起草、修改工作。这两大工程是同时进行的。他后来回顾说：“八大文件，除周总理的关于第二个五年计划的报告外，许多是我起草的”。
全国党代表会议以后，为八大进行准备的各项工作就陆续开始了。1955年8月23日晚，刘少奇召集会议，商讨党的八大问题。出席会议的有陈云、邓小平、李富春、罗瑞卿和杨尚昆，胡乔木和陈伯达也参加了这次会议。接着，8月28日下午，刘少奇召集陈伯达、邓力群、田家英三人，商谈起草八大会议文件事宜。
10月4日至11日，中共七届六中全会举行，会议作出《关于在1956年下半年召开党的第八次全国代表大会的决议》。胡乔木列席了这次中央全会。
全会开过后一个半月，11月29日下午，刘少奇召集会议，讨论八大政治报告的起草问题。胡乔木与起草委员会成员陈云、邓小平、陆定一、陈伯达一起出席。会后，刘少奇即指定陈伯达起草八大政治报告。同时要邓力群、田家英等人做助手，帮助陈伯达收集意见，准备资料。
12月5日晚，刘少奇主持中共中央政治局在中南海西楼召开座谈会，部署筹备召开八大的有关事宜。出席者包括在京的中央委员、中央党政军各部门和各省市委负责人，共106人。胡乔木出席了这个座谈会。刘少奇传达毛泽东关于召开八大的指示精神：八大的中心思想是要反对右倾思想，反对保守主义，提早完成我国的社会主义工业化和社会主义改造，保证15年同时争取15年以前超额完成。主席讲，我们要利用目前国际休战时间，利用这个国际和平时期，再加上我们的努力，就可加快我们的发展，提早完成社会主义工业化和社会主义改造。刘少奇宣布中央政治局决定1956年9月召开八大，并提出全党要准备八大，迎接八大，使八大开好，八大中央的报告要和各地方各部门的工作结合起来。D刘少奇在会上跟大家打招呼，根据分工，中央委员会向党的八大的政治报告，由他主持起草。为准备这个报告，他在最近要找各部门的一些负责同志个别谈话，请各部门的同志预先作好准备。
从1955年12月7日开始，刘少奇就陆续找国家机关、中央各部委的负责同志到他那里汇报，一个部一个部地听，连续听了三十几个部门负责同志的汇报，进行到1956年3月上旬。
刘少奇听这些汇报快要结束的时候，毛泽东从外地视察回到北京。听薄一波讲起刘少奇召集中央各部委逐个听取汇报的事，说这个方法好啊！请薄一波帮助他也组织这样的汇报。于是，毛泽东从1956年2月14日起，到4月17日止，听取了国务院34个部门的工作汇报；4月18日至24日，听取李富春（时任国务院副总理、国家计划委员会主任）汇报第二个五年计划。
在刘少奇开始听各部门汇报不久，12月中旬，陈伯达草拟了《八大政治报告（草稿）》的提纲，写出了“引言”和第一部分的草稿。12月15日，刘少奇签发印送毛泽东、周恩来、朱德等26位中央领导同志审阅。
刘少奇对陈伯达的稿子不满意，请胡乔木提意见。胡乔木对刘少奇说，陈伯达起草的稿子不像一个党中央向八次代表大会所作的报告，倒像一个学术报告。刘少奇认为胡乔木的评论有道理，对胡乔木说：那好啊，他写的不行，你来搞一个。并说，他历来的方法就是这样，他自己写文章总是找大家来提意见，各种反对的意见、不赞成的意见都可以讲，他叫人帮助起草的东西，总是七改八改，改到大家没有意见为止。陈伯达听说胡乔木认为他起草的稿子不行，很生气，但少奇同志要乔木起草，他也无可奈何。
1956年4月间，毛泽东在陆续听取不少部门汇报后，对新中国自己的建设道路形成了一些比较明确的思想，对处理好各种关系和矛盾，作了概括。4月19日，他提出必须很好地解决沿海与内地的关系、轻工业与重工业的关系、个人与集体的关系，还提出共产党和民主党派“两个万岁”的口号。20日，他又进一步作了归纳，加上地方与中央的关系、经济与国防的关系；24日，又进一步归纳出“六大矛盾”：轻工业与重工业，沿海与内地，国防、行政与经济、文化，个人与集体，地方与中央，少数民族与汉族。
毛泽东听取各部门汇报时，周恩来几乎每次都去，刘少奇、陈云、邓小平有时也参加；第二轮听关于第二个五年计划汇报时，刘、周、邓都参加了。
刘少奇听了毛泽东的许多精辟议论，感到八大政治报告就应以主席的这些思想为指导来写。在20日后的某一天晚上，已经十点多钟，刘少奇把胡乔木和陈伯达、邓力群找到他的住处中南海甲楼，非常兴奋地说，他刚刚从毛主席那里开常委会回来。主席讲了很好的意见，同我们起草八大报告的关系密切，所以把你们找来。主席在听了三十几个部门的汇报、作了两个多月调查以后，归纳起来，提出了十个问题，就是十个关系。刘少奇一个关系一个关系向他们作了介绍。说：有了主席的这个讲话，我们这个报告的主调就有了，指导思想就明确了。起草八大报告要以主席讲的这个十大关系为纲。刘少奇这么一讲，就把八大报告和十大关系联为一体了。
4月25日，毛泽东主持中央政治局扩大会议。他在会上正式发表了《论十大关系》。讲过以后，政治局扩大会议集中讨论这个讲话。会议开到28日结束。胡乔木出席会议，听了讲话，参加了讨论。5月2日，毛泽东在最高国务会议上再次讲了十大关系问题。贯穿《论十大关系》的基本思想，是“以苏为鉴”，根据中国情况走自己的路。毛泽东说：“我们一定要努力把党内党外、国内国外的一切积极的因素，直接的、间接的积极因素，全部调动起来，把我国建设成为一个强大的社会主义国家”。这就是《论十大关系》确定的基本方针，就是毛泽东关于我们自己的建设社会主义国家的根本指导思想。从这以后，胡乔木等人就以毛泽东的《论十大关系》为纲来起草八大报告。
1956年6月24日下午，毛泽东在中南海颐年堂主持召开政治局扩大会议，讨论八大召开日期和会议准备等问题。这次会议共28人参加，胡乔木是其中之一。会后，中央办公厅于6月26日向各省、市、自治区党委发出通知：八大定于9月15日开幕；大会的文件，即政治报告，党章草案和关于修改党章的报告，关于第二个五年计划的建议和报告，必须在8月中旬定稿；8月下旬召开第七次中央全会；9月1日起举行八大的预备会。7月6日，中共中央通过新华社向全国发出中国共产党第七届中央委员会关于1956年9月15日在北京召开党的第八次代表大会的通知。
1956年6月30日，胡乔木出席了刘少奇召开的布置八大政治报告起草工作的会议。D会后，胡乔木等加紧工作，7月初，八大政治报告第一稿（初草）写成，题为《为实现过渡时期总任务而斗争》。
第一稿（初草）与以前的稿子最根本的区别，在于以毛泽东《论十大关系》为指导，体现了《论十大关系》的精神和内容。不过，在编排上有政治报告本身的逻辑。毛泽东论述十大关系，有他自己的思路和方法。他先讲经济关系，再讲政治关系、国际关系；无论经济、政治，都从相互关系来论述，完全套用来写政治报告未必合适。政治报告中次序究竟怎么安排，胡乔木等人很费心思。经反复斟酌，多次讨论，初步确定总体结构还是先讲经济，再讲政治，再讲国际关系，虽着重讲相互关系，但从各个领域、各个方面立论。在结构上，与陈伯达草拟的提纲也有很大不同。
这个稿子先写成前面四个部分。7月14日，刘少奇批示印发给中央领导人和各有关人员审阅修改。在此前后，毛泽东即召集起草委员会或中央政治局扩大会议多次讨论这个第一稿及八大政治报告起草问题。
7月6日晚，毛泽东在中南海颐年堂召集政治报告起草委员会开会，商讨八大政治报告起草问题。会议开到翌日将近1点。接着，会议在7日、8日、9日、10日和12日、14日六个晚上继续举行。胡乔木参加了这七次会议。7月15日晚，毛泽东在中南海颐年堂召开中央政治局扩大会议，讨论八大政治报告第一稿。胡乔木因赶写修改党章报告而未出席。19日晚，毛泽东再次召开政治局扩大会议讨论八大政治报告草稿，胡乔木参加了这次会议。
7月23日，毛泽东、刘少奇、邓小平等离京赴北戴河。八大文件的起草工作继续紧张进行。
27日下午，毛泽东在北戴河东浴场召开八大政治报告起草委员会会议，讨论政治报告修改问题。28日下午，刘少奇召集小会继续讨论。胡乔木因起草党章报告均未参加。
在此期间，起草委员会一方面听取意见对已成稿修改，另一方面抓紧分头起草后几部分。1956年8月8日，写成八大政治报告第二个修改稿，由中央办公厅机要室印发。稿子拟了两个题目，一个是《中央委员会向八大的政治报告（初稿）》，另一个是《调动一切积极因素，为把我国建设成为一个伟大的社会主义国家而奋斗》。
毛泽东随即对这个稿子进行了一些修改，写了五条批语。以后继续修改，写批语、作修改达32处。在北戴河，由他亲自召集或由刘少奇、邓小平分别召集会议，进行讨论。
8月10日晚，毛泽东召开中央政治局扩大会议，讨论八大政治报告初稿。胡乔木出席了这次会议。
8月11日下午，刘少奇召集会议，谈政治报告修改问题；晚上，毛泽东约谈政治报告修改问题，胡乔木均出席。
8月12日起，胡乔木等即按毛泽东、刘少奇等人意见，进行修改。8月14日，刘少奇把修改稿送毛泽东。毛泽东即对其中“党的领导”部分作了修改。
8月15日上午，邓小平在北戴河东浴场召开会议，讨论八大政治报告。
回到北京以后，胡乔木等又进行修改。关于“社会主义建设”部分，亦即毛泽东所说“报告的主要部分”，胡乔木几乎重新写过。