20世纪40年代中期，胡乔木参与了毛泽东领导和主持的《关于若干历史问题的决议》起草的全过程；80年代初期，胡乔木作为《决议》起草小组的负责人，在邓小平领导和主持下，出色地完成了《关于建国以来党的若干历史问题的决议》的起草任务。从40年代到80年代，先后参加党的两个《历史决议》的起草工作，为解决历史问题、统一全党思想作出如此重大贡献者，在中国共产党内没有第二人。
在十一届三中全会前后实现伟大历史转折的进程中，关于“文化大革命”的评价问题，关于毛泽东和毛泽东思想的评价问题，不断地被提出来。党内很多同志希望，在党的十二大召开之前，对建国以来30年的历史和“文化大革命”作出总结，作一个关于建国以来历史问题的决议。党中央及时把这一重要任务提上了工作日程。1979年10月30日，胡乔木、邓力群召集起草小组成员在北京开会，传达邓小平关于工作安排的谈话。其中第四项，就是起草建国以来党的历史问题决议。《历史决议》的起草工作在中央常委领导下进行，邓小平主持，胡耀邦、胡乔木、邓力群组织实施。决议稿的起草由胡乔木负责，起草小组的组织安排及同上下左右的联系、交流，由邓力群负责。
12月31日，胡乔木同起草小组成员谈起草《历史决议》的初步设想。他指出：这个文件只限于30年历史的若干问题，不能作为30年历史的读本提纲。整个文件的写法不能照六届七中全会那个若干历史问题决议那样把问题归结为两条路线。对所发生的问题要作一种理论上的评论，不是简单地说个功过是非。
起草小组经过两个月的工作，于1980年2月20日搞出了一份供领导参阅的《〈决议〉提纲（草稿）》。邓小平看后，于3月19日找胡耀邦、胡乔木、邓力群三人谈话，提出起草《历史决议》的三条要求：第一，确立毛泽东同志的历史地位，坚持和发展毛泽东思想。这是最核心的一条。不仅今天，而且今后，我们都要高举毛泽东思想的旗帜。第二，对建国30年来历史上的大事，哪些是正确的，哪些是错误的，要进行实事求是的分析，包括一些负责同志的功过是非，要作出公正的评价。第三，通过这个决议对过去的事情做个基本总结。这个总结宜粗不宜细。总结过去是为了引导大家团结一致向前看。邓小平指出，总的要求，或者说总的原则、总的指导思想，就是这么三条。其中最重要、最根本、最关键的，还是第一条。4月1日，邓小平又找胡乔木等三人谈话，再次强调了这一条。
胡乔木主持起草的决议，从主题思想、结构布局、重大问题的判断、重要提法直至遣词造句的斟酌，都体现着邓小平的指导思想，达到了邓小平的三条要求。胡乔木在起草第二个《历史决议》过程中发挥的重要作用，主要有以下几点：第一，贯彻落实邓小平、陈云的指示，集中党内讨论的意见，起草和修改《历史决议》稿。
在《历史决议》起草过程中，胡乔木同起草小组成员谈话30多次，对《决议》稿的起草、修改，提出明确具体的要求和意见，作出深刻的、有说服力的分析。
1980年3月15日，胡乔木同起草小组成员谈话。针对2月《〈决议〉提纲（草稿）》指出：“有两个难题要解决一下。现在的稿子没有涉及。”一个是为什么发生“文化大革命”。不答复为什么发生这个错误的问题，决议就失掉价值；另一个是，毛泽东思想的实质是什么。我们讲坚持毛泽东思想，坚持什么。不答复这个问题，坚持毛泽东思想这个口号就没有力量。胡乔木提出的两个难题，明确了起草《决议》的重点，是实现邓小平三条要求的关键。
从1980年5月中旬至6月上旬，胡乔木同起草小组成员连续谈话四次，对怎样写好《决议》，讲了很多指导性的意见和要求。在《决议》起草过程中，中央政治局进行过多次讨论，还多次组织高级干部进行座谈、讨论。每次座谈讨论以后，胡乔木都认真研究各种意见，提出修改方案，并亲自修改补充。
1980年9月省市区第一书记座谈会后，胡乔木根据中央常委同志的意见，亲自执笔加写了关于粉碎“四人帮”以后四年的一段，约2500字，于10月6日送常委各同志审阅批改。10月10日又将作了一些修改的稿子送常委各同志审阅。
1980年10月至11月全国高级干部四千人讨论后，胡乔木研究、综合各种意见，给邓小平并中央政治局写了一封长信，提出起草新稿的18条重要原则性设想，请求指示。此后，即按照这个设想对《决议》稿作了较大的调整和修改补充。半个月后产生的“一九八○年十一月二十二日修改稿”，不仅内容上体现了上述设想，而且结构和格式也有了明显改进，同后来的定稿已经相去不远。《粉碎“四人帮”后的四年》作为全稿的第五部分，写了11个小节。
此后《决议》稿又经过多次讨论修改，于1981年6月11日印出《关于建国以来党的若干历史问题的决议（草案）》，经6月13日政治局扩大会议原则通过，提交十一届六中全会审议。六中全会预备会的前七天（6月15日至21日）对《历史决议》草案进行分组讨论。6月22日下午，中央常委召开各组召集人碰头会，着重讨论怎样根据预备会各组提出的意见进行修改。会后，胡乔木等又作了精心修改，到6月26日完成。同6月11日稿相比，增加约三千多字。经过增补和修改，《决议》的内容更加充实、全面，表述更加准确、恰当。例如，叙述建国前28年光辉历程一节，加强了创建农村革命根据地和抗日战争的内容，增写了九百字左右；讲建国32年主要成就的第七节，加写了一段“城乡商业和对外贸易都有很大增长”，工业建设成就把原来同解放前对比改为同1952年对比；第十五节加强了对八大路线肯定的力度，加了断语“八大路线是正确的”，对八大坚持的经济建设方针，改为“大会坚持了1956年5月党中央提出的既反保守又反冒进即在综合平衡中稳步前进的经济建设方针”；第十六节列举党中央领导同志纠正“大跃进”和人民公社化运动的错误，增写了两句话，讲陈云、邓小平、朱德三个人的主要贡献。如此等等，不胜枚举。据统计，这次增删改动达一百多处。这个修改稿付印以后，推敲、修改仍在继续。作出阶级斗争“在某种条件下还有可能激化”的重要论断（第三十五节要点之四），提出“要在全党大大加强对马克思主义理论的研究，对中外历史和现状的研究，对各门社会科学和自然科学的研究”的重要任务（第三十五节要点之六），都是在6月27日六中全会正式召开的前夜加上去的。陈云看了6月26日的《历史决议（草案）》后，曾要秘书打电话告诉胡乔木：改得很好，气势很壮。
第二，对“文化大革命”的错误及其发生的原因进行历史、具体的分析，亲自执笔撰写《“文化大革命”十年》这一部分。
在3月15日的谈话中，胡乔木对为什么发生“文化大革命”的错误作了具体分析，讲了七点原因。胡乔木不赞成把原因归结为小资产阶级思想影响，也不想沿用第一个《历史决议》社会、思想、历史三大根源的陈式，他主张对产生“文化大革命”的原因采取历史的、具体的分析方法。
7月上旬，胡乔木连续参加起草小组的三次座谈讨论，每次都作了长篇发言。7月中下旬，又同起草小组成员谈话四次。他分析“文化大革命”的发生、发展、演变过程，评论是非功过，寻求历史联系，探究深层原因，还不时同国际共产主义运动以至资产阶级革命的历史进行比较分析，发表了许多深邃、新鲜的见解。他再次强调：“如果不能答复为什么发生‘文化大革命’，决议就等于不作。”
对于起草小组撰写的关于“文化大革命”的几稿，胡乔木都不满意，后来索性从头至尾亲自撰写。《“文化大革命”十年》这一部分在《决议（一九八○年九月未定稿）》中印出，占全稿将近三分之一。胡乔木对“文化大革命”的主要论点作了概括，并通过“文化大革命”至当时14年的实践检验，指出“文化大革命”在对象、纲领、依靠力量、性质这些革命的根本问题上完全错了；对“文化大革命”的经过，其间的重大历史事件，毛泽东的严重错误和主要责任，毛泽东与林彪、江青的本质区别，毛泽东在“文化大革命”中的一些功劳，分阶段作了客观的、实事求是的评述；对“文化大革命”之所以发生和持续10年之久的原因以及毛泽东之所以犯严重错误的原因，作了历史的、具体的分析；对“文化大革命”的性质作出判断：“‘文化大革命’是一场由领导者错误发动，被反革命集团利用，给党、国家和各族人民带来严重灾难的内乱。”对毛泽东所犯错误及其责任作出评定：“对于‘文化大革命’这一全局性的、长时间的‘左’倾严重错误，毛泽东同志负有主要责任。但是毛泽东同志的错误终究是一个伟大的无产阶级革命家所犯的错误。”
第三，对毛泽东思想作出完整、准确的解释。
对毛泽东在“文化大革命”期间所犯“左”倾错误作出判定，又对毛泽东晚年逐步形成的“左”倾思想的发展过程进行分析，说明“文化大革命”发生的原因，这就为完整、准确地评价毛泽东和毛泽东思想解决了一个带有关键性的难题。在此基础上，胡乔木进而对作为科学体系的毛泽东思想和毛泽东本人晚年的错误进行区分。他说：“对毛主席的错误要批判，对他在中国革命胜利发展过程中形成的毛泽东思想还要坚持。可以把他的错误归结为他自己违反了毛泽东思想，因此犯了错误。”他又说：“我们现在要把毛主席晚年这些思想上行动上的错误同毛泽东思想加以区分，加以对照。对毛泽东思想加以肯定，对毛主席晚年的错误的理论和实践加以批判。”他明确指出：“毛主席的功过，要讲他离开了毛泽东思想。……到1966年以后，在主要方面他是违背了毛泽东思想。”“他的错误是违犯了毛泽东思想的科学体系。”“‘文化大革命’所以错误是违背了这些原则。”“经历了三十年曲折道路，有挫折，就是由于违反了毛泽东思想的结果。”“毛泽东思想，就是毛泽东的学说。”“毛泽东思想里面不包括他的错误。”D胡乔木这样把毛泽东思想的科学体系同毛泽东晚年错误加以区分，为完整准确地评价毛泽东和毛泽东思想找到了一把钥匙。
对毛泽东思想是什么这个问题，胡乔木作出了科学的解释和完整、准确的概括。
他概括毛泽东思想有三个基本原则：实事求是，群众路线，独立自主、自力更生。总结这是毛泽东思想的活的灵魂，写入《决议》。经过多次修改，《决议》正式稿以三千多字的篇幅从六个方面对毛泽东思想的内容进行了完整而恰当的评述。
《历史决议》草案在1981年6月27日中共十一届六中全会全体会议上获得一致通过。在这之前，6月22日中央常委召开的各组召集人会上，邓小平对《历史决议》草案作了充分肯定：“总的说来，这个决议是个好决议，现在这个稿子是个好稿子。我们原来设想，这个决议要举毛泽东思想的伟大旗帜，实事求是地、恰如其分地评价‘文化大革命’，评价毛泽东同志的功过是非，使这个决议起到像一九四五年那次历史决议所起的作用，就是总结经验，统一思想，团结一致向前看。我想，现在这个稿子能够实现这个要求。”在这之后，6月29日十一届六中全会的闭幕会上，邓小平又满意地说，历史问题决议“解决得非常好”，“真正是达到了我们原来的要求。这对我们统一党内的思想，有很重要的作用。”