胡乔木参与八大党章的修改和关于修改党章报告的起草，比参与修改八大政治报告要早些。这项工程在举行七届六中全会之前就开始了。
1955年9月5日，胡乔木出席了在中南海西楼会议室召开的讨论修改党章问题的会议。会议开了一天。9月10日下午，主持修改党章和修改党章报告起草委员会的邓小平召集会议，讨论修改党章问题。14日上午继续开会。会上确定，先由胡乔木起草《中国共产党章程》。
七届六中全会开过一个星期多一点，10月20日，胡乔木就完成了《中国共产党章程（初稿）》，即党章第一次修改稿。此稿共分10章78条，只有条文部分，党纲部分注明“暂缺”。当天，邓小平批示，印发十余份给有关同志。
1956年2月6日上午，邓小平在中南海西楼会议室召开中央秘书长会议，讨论关于起草修改党章报告问题。这个报告的起草任务还是交给了胡乔木。不过，要起草这个报告，首先要把党章修改完成。所以，在此后的五六个月里，主要精力还是花在修改党章上面。
4月2日上午，胡乔木出席邓小平在中南海西楼会议室主持召集的中央秘书长会议，讨论修改《中国共产党章程（初稿）》。在此前后，吸取中央政治局委员和几位领导同志的修改意见后，胡乔木在陈伯达的初稿上修改了《党章“总纲”（初稿）》，于3月30日致函杨尚昆：“初稿送上，很不放心，希望先印发秘书长会议各同志，待修改后再送书记处，可否？”31日，中央机要室即铅印20份分发。
胡乔木又在其上作了十余处重要修改。第一句关于党的性质，改写为：“中国共产党是中国工人阶级的有组织的先进部队，是具有共产主义觉悟的工人、农民和其他劳动者按照在中国实现社会主义和共产主义的目的组织起来的。”
在思想方面，在坚持马克思列宁主义世界观之外，加上：“中国共产党根据马克思列宁主义观点，主张批判地接受本国的和外国的一切文化遗产和革命经验。”关于党的任务，指出：“中国共产党目前在发展生产方面的中心任务，就是尽可能迅速地实现国家工业化，有系统地进行国民经济的技术改造”，使中国具有强大的现代化的工业、现代化的农业、现代化的交通运输业和现代化的国防。在讲党必须不倦地巩固我国的人民民主专政这一段中，胡乔木加上了：“中国共产党必须为我国民主生活的更加发展，民主制度的更加完善而斗争。”他的修改强调：“必须不断地发扬党的工作中的群众路线的传统”，每一个党员“都必须全心全意地为人民服务，倾听人民群众的意见，注意了解和满足人民群众的需要。”同时又强调：“党是工人阶级的阶级组织的最高形式。党必须努力在我们国家的生活的一切方面发挥它的正确的领导作用和核心作用，而反对任何降低党的作用和削弱党的统一的分散主义倾向。”
4月10日，胡乔木又对“总纲”作了若干修改，印出党章的“第二次修改稿”。4月12日，胡乔木改完党章本文，由78条改为72条，对第六章“党的基层组织”作了较多修改。胡乔木写便条交杨尚昆“请酌办”。中央办公厅即铅印300份，分发讨论修改。
4月13日、20日两天上午，胡乔木出席邓小平在西楼会议室主持召开的中央秘书长会议，讨论修改党章等问题。4月22日下午，胡乔木出席毛泽东在中南海颐年堂主持召开的中央政治局扩大会议，讨论党章修改问题。4月23日上午9时至9时40分，胡乔木出席谭震林召集的讨论党章修改问题的会议。按会议决定，从25日至28日，修改党章委员会每天上午连续开会，讨论修改党章。4月28日，毛泽东在中央政治局扩大会议闭幕会上的讲话中，特别讲了修改党章问题，要求各省、市、自治区党委进行讨论，征求修改意见。他提出，新党章应充分体现纪律性和创造性，体现群众路线。还提出关于副主席设一个还是几个、是否设常任代表的问题，请大家讨论。4月29日上午，胡乔木出席邓小平在中南海勤政殿主持召开的各省市委书记会议，向到会者介绍有关修改党章的问题。4月30日，印发了党章的“第三次修改稿”。5月3日至5日，胡乔木出席邓小平在中南海西楼主持的讨论修改党章的会议。
经过讨论吸收意见后，胡乔木于5月10日修改出了党章“第四次修改稿”，写批语交代：“今天下午印出，发政治局会议各同志和全体中委、候补中委。”邓小平于5月14日上午召开会议对这一稿进行讨论，一直讨论到下午1点半才散会。接着，17日下午，刘少奇主持召开中央政治局会议讨论修改党章问题；19日上午，邓小平在西楼会议室召开会议专门讨论党章的总纲部分；紧接着，刘少奇又主持召开中央政治局会议讨论党章草案。
胡乔木等经过将近十天的修改，形成了一个比较成熟的党章修改稿。5月19日，胡乔木在《中国共产党党章》题下，加括号注明：“第五次修改稿，根据中央政治局会议5月17日和19日的讨论修改”。胡乔木于5月20日批：“照此付印，发给参加会议各同志，同时用第四次稿将修改的地方用红笔改出几份送主席处。”
此后，胡乔木对5月20日印发的“第五次修改稿”又作了若干修改（主要是关于地方组织和基层组织），于5月22日由中办机要室印发。原标题下的说明删去，径称“修改稿”。
5月28日上午9时，邓小平召集会议讨论党章草案的印发问题。当天，邓小平代中央拟的《中央关于印发党章修改稿交各地方、各单位讨论的通知》下发给各省、市、自治区党委，党中央和国家机关党委，人民解放军总政治部。
党章草案进入广泛征求意见阶段，党章修改报告的起草问题便提上议事日程。6月14日上午，邓小平在西楼会议室主持召开的中央秘书长会议上讨论了这个问题。执笔起草这个报告的任务又交给了胡乔木。6月24日下午，胡乔木出席了毛泽东在中南海颐年堂主持召开的中央政治局扩大会议。会议决定党的八大于9月15日开幕，要求大会的三个文件必须在8月中旬定稿。
胡乔木于7月初写成八大政治报告第一稿（初草）以后，即转入起草修改党章报告。7月23日，胡乔木在北戴河写成《关于修改党章的报告（初草）》的引言和前四部分。按手稿印出打字稿后，又作了若干文字修改。前四部分的内容为：一、从七大以来革命形势的发展和国家状况的变化，说明修改党章的根据并概说修改的情况（没有根本原则上的不同，在具体内容上却有很多改变，其中包括一些带有原则性的改变）。二、关于党纲，着重说明“我们党的群众路线问题”。报告回顾七大以来走过的道路，说明党章总纲总结了实际斗争的经验，给了群众路线以更深刻更丰富的内容，包含深刻的理论意义和实际意义，并指出由于党成了执政党而具有更重大的意义。报告用很大篇幅揭露、分析了在这方面存在的问题，提出“我们必须向这些脱离群众的、官僚主义的现象进行经常的斗争”。三、关于民主集中制。说明民主集中制是“群众路线在党内生活中的应用”，“是我们党的列宁主义的组织原则”。
报告稿总结了1935年以来这方面的经验，阐述了党章草案关于民主集中制中上下级关系问题上新增加的三个方面的规定，关于党组织集体领导、发扬党内民主问题以及正确看待领袖对党的作用和反对个人崇拜的规定。四、关于党的团结和统一。报告稿论述了党的工作和国家工作的关系，说明应该怎样正确地发挥自己的领导作用和核心作用。报告稿阐述了对待党内错误问题上的方针，指出既要纠正党内实行过火斗争和惩办主义，又要反对包庇姑息的自由主义态度，为了保持在马克思列宁主义基础上的团结和统一，为了及时帮助同志克服缺点，纠正错误，必须大大发展党内的批评和自我批评。
7月25日，邓小平即在北戴河西浴场召开八大修改党章和修改党章报告起草委员会会议，对党章和修改党章报告这两个文件进行讨论。从这天到31日，除27日讨论政治报告起草问题、30日休息之外，会议连续开了5天。8月1日傍晚，毛泽东在北戴河东浴场约邓小平谈修改党章问题。此后，8月5日，邓小平将修改党章和修改党章报告起草委员会讨论设想的中央领导机构设置方案，即党章第三十七条（征求意见稿为第三十九条），报请毛泽东、刘少奇、周恩来、朱德核阅。毛泽东作了修改，在“党的中央委员会选举中央政治局、中央政治局常务委员会和中央书记处，并且选举中央委员会主席一人、副主席若干人”之后，加上“和总书记一人”。
1956年8月9日，中共中央发出决定在8月20日召开七届七中全会的通知。八大文件的起草工作更加紧张地进行。邓小平和胡乔木等及时地把八大政治报告修改过程中的一些新的思想、新的提法，在八大的新党章和修改党章报告中体现出来。例如，8月上旬，毛泽东在8月8日中办印发的政治报告初稿第110页上讲中国共产党特别需要民主党派的监督一段文字旁加批语：“首先是阶级的监督，群众的监督，人民团体的监督。”这一重要思想，在党章草案的总纲和有关条文中都得到了充分的论述，作出了明确的规定。邓小平后来在一次干部会上回顾说：“党要受监督，党员要受监督，八大强调了这个问题。”
在中央政治局通过了中央领导机构的设置方案后，胡乔木于8月11日起草成“关于修改党章报告”的五、六两部分，即“关于党员”、“关于组织机构”，完成了这个报告的全部起草工作。续完的《关于修改党章报告》全稿共六部分。胡乔木在“续完”的稿子上签发：“即打20份送邓小平同志分发”。邓小平收到后作了不少修改。第二天，邓小平批示“退乔木”。中央办公厅即印成《关于修改党章的报告（初草）》（一九五六年八月十二日）。
半个月后，8月27日下午，邓小平在中南海西楼会议室召开修改党章和修改党章报告起草委员会会议，讨论这两个文件。邓小平嘱杨尚昆当晚将修改党章报告初稿送毛泽东审阅。毛泽东连夜阅改，在稿子首页上批示：“此件看了一遍，觉得大体可用。作了些小的修改，请你们酌定。第23页批了一点建议修改的意见，请考虑。许多句子太长，不好读。我在第23页的一段中试增了一些标点。请考虑全文都增加一些标点。”
8月28日，胡乔木等即按毛泽东的意见再一次作了修改。当天付印，胡乔木把标题《关于修改党的章程的报告（初草）》改为《关于修改党的章程的报告（修改稿）》。刘少奇看过8月28日印发的修改稿后，批道：“退邓小平同志。在第十三页上有一点改动。”最后，这个报告由邓小平改定。他将“修改稿”三字删去，注明日期，签上名字：“《关于修改党的章程的报告》（一九五六年九月十六日） 邓小平”。
邓小平、胡乔木等对党章和党章修改报告再作修改后，印发给8月30日开始举行的八大预备会议讨论。
9月3日，各代表团开始讨论，至5日讨论结束。邓小平、胡乔木等听取各代表团的意见又作了修改。毛泽东于9月10日晚对两个文件又细细推敲，晚上10时，写下批语：“即退小平同志：两件改处都看过，同意这些修改。我只在党章第三条觉得应当添三个字，请酌定。”
9月13日晚上，毛泽东主持中共七届七中全会第三次全体会议就修改党章、设立中央机构问题发表讲话。他说：党章准备修改，叫做“设副主席若干人”。中央准备设四位副主席，就是少奇同志、恩来同志、朱德同志、陈云同志。首先倡议设四位副主席的是少奇同志。另外，还准备设一个书记处，书记处的名单没有定，但总书记准备推举邓小平同志。毛泽东还说明，这样做，我们这个“防风林”就有几道。“天有不测风云，人有旦夕祸福”，这样就比较好办。这对于我们这样的大党，这样的大国，为了国家的安全，党的安全，恐怕还是多几个人好。D这是毛泽东、刘少奇等作出的一项重大决策，也是八大党章的重要的新内容之一。
1956年9月16日下午，邓小平在八大第二次全体会议上作了《关于修改党的章程的报告》。9月26日，大会全体代表一致通过了新修改的《中国共产党章程》，一致通过邓小平所作的《关于修改党的章程的报告》。