胡乔木在学术上成就最为卓着、影响最为巨大的，莫过于对中共党史这一中国特有的全新的学科的开创和拓展。对中共党史的研究与编撰的实践，和对中共党史研究、编撰与宣传教育工作的指导，贯穿于毛泽东时代和邓小平时代两个时代。
胡乔木1930年秋至1931年冬曾就读于清华大学历史系，但没有多久就放弃了对历史学的攻读，成了用笔从事革命活动的共产党人。但历史的机缘偏偏要将历史学家的称号赐予他。由毛泽东决定，《人民日报》1951年“七一”前夕发表了胡乔木写的《中国共产党的三十年》。从此，胡乔木的名字就同中共党史研究联系在一起。《中国共产党的三十年》第一次用马克思列宁主义的普遍原理与中国革命的具体实际相结合的观点完整地、系统地简要叙述了中国共产党的历史。发表以后，当即成为广大干部群众学习、了解中国共产党历史和毛泽东思想的教科书。这部书被公认为中共党史的奠基之作，对党史教育和党史研究产生了深远的影响。
当年39岁的胡乔木，用不到一个星期就写成这部扛鼎之作，不是偶然的。1941年2月胡乔木担任毛泽东秘书后做的第一件工作，就是在毛泽东指导下编“党书”：最初是《六大以来——党内秘密文件》，接着选编《两条路线》，后来又编《六大以前》。通过对党的文献系统的整理编纂，胡乔木打下了扎实的史料根基。作为毛泽东和政治局的秘书，胡乔木又直接参加了1941年9月政治局会议讨论党的历史经验，延安整风中高级干部的两条路线学习，《关于若干历史问题的决议》的起草，亲身领受毛泽东及其战友的教诲，对党的历史自有非同寻常的理解。胡乔木掌握了丰富的史料，又把握了历史的逻辑，挥笔写就一部中国共产党30年的历史可说是瓜熟蒂落。
胡乔木再次把党史研究作为重要工作来做，是在事隔30年后。为拨乱反正、继往开来，中共中央决定作第二个历史决议，对建国以来三十多年历史作出总结。这个决议由邓小平主持，具体负责起草的是胡乔木。邓小平提出，这胡乔木与中共党史研究和编撰个决议最核心的一条是确立毛泽东的历史地位和毛泽东思想的指导地位，坚持和发展毛泽东思想。而对“文化大革命”的历史作出全面科学的总结成为正确评价毛泽东和毛泽东思想的关键。
这项工作实际上从党的十一届三中全会前后就已开始。胡乔木是三中全会邓小平的主题报告、全会公报以及加快农业发展等文件的主要起草者，这些文件记录了思想路线、政治路线和组织路线的拨乱反正。三中全会闭幕后，胡乔木即在中宣部碰头会上讲话，对毛泽东晚年发动和领导“文化大革命”的错误理论，如“无产阶级专政下继续革命”理论、党的历史只是路线斗争的历史等，提出质疑，予以否定。紧接着，又在中国社会科学院作报告，围绕三中全会工作着重点转移这个主题，扼要地评述了建国以来的历史发展过程，更加深刻地批评上述毛泽东晚年发动“文化大革命”的错误理论，并指出社会政治安定和按客观经济规律办事是社会主义经济发展必不可少的两个条件。在1979年春从右面来的错误思潮开始泛滥的时候，胡乔木协助邓小平起草了《坚持四项基本原则》的讲话。此后，胡乔木又在邓小平指导下主持起草了叶剑英国庆三十周年讲话。把毛泽东同林彪、“四人帮”严格分开，对林彪、“四人帮”的极左路线进行了全面深入的分析批判，对毛泽东思想恢复了七大的提法，并指出是集体智慧的产物，还明确肯定毛泽东的《论十大关系》《关于正确处理人民内部矛盾的问题》和八大主要文献的指导意义。
虽然在党的十一届三中全会前后已经有了这样的准备和基础，但为达到邓小平提出的要求，历史决议从起草到通过还是足足花费了20个月的时间。作为起草组的负责人，胡乔木殚精竭虑，呕心沥血，贯彻邓小平、陈云等中央常委的意图，集中集体讨论的意见，完满地解决了评价“文化大革命”十年内乱的历史与确立毛泽东历史地位、坚持毛泽东思想的种种问题。胡乔木在历史决议起草过程中所作的《〈历史决议〉要注意写的两个问题》《〈历史决议〉中对“文化大革命”的几个论断》《关于〈历史决议〉的几点说明》等三十多次谈话、讲话，他起草和修改的决议文本，对建国以来三十多年特别是“文化大革命”的历史，对毛泽东与毛泽东思想，作了历史的具体的分析和科学的评价，如：论定“‘文化大革命’是一场由领导者错误发动，被反革命集团利用，给党、国家和各族人民带来严重灾难的内乱”；深刻分析“文化大革命”之所以发生和持续十年之久的原因以及毛泽东之所以犯严重错误的原因；把毛泽东本人的思想上行动上的错误，同毛泽东思想加以区别，对毛泽东思想加以肯定；指出毛泽东思想的活的灵魂，它的根本思想原则，是实事求是，群众路线，独立自主等等，是这一时期胡乔木党史研究的结晶。
1987年中共十三大以后，胡乔木退居二线。他仍担任中央党史领导小组副组长，集中精力投入党史工作。晚年的研究没有原来那种同当前工作的密切联系，更多地具有个人学术研究的特点。他的思索与探讨在更深、更广的层次上驰骋，取得了丰硕的成果。其代表作是“党史三论”：1989年春访问美国所作学术讲演：关于中国在50年代怎样选择了社会主义，关于中国1958年至1978年间为什么会犯“左”倾错误，和为纪念中国共产党建党七十周年而作的《中国共产党怎样发展了马克思主义》。还有两项有巨大和深远影响的党史工作，这就是对40年代、50年代毛泽东的回忆和对《中国共产党的七十年》一书的指导和审定。
“党史三论”都把理论、历史、现实紧密结合而又各具特色。关于中国在50年代怎样选择了社会主义这篇讲演，采取了一个全新的角度，通过经济分析来回答这一重大政治问题。文章从中国革命历史的全局着眼，具体分析了50年代中国经济迅速恢复的四个基本因素（实现了全国财政经济的统一，国营经济的日益强大，资本主义经济的弱小和发展困难，新中国的国际环境：西方的封锁和苏联的援助），论证中国要确保国家的独立和统一，发展国民经济，只有社会主义才是唯一的出路。关于中国为什么会犯“左”倾错误的讲演，论证方法独特。它用主要篇幅具体剖析了1958年至1978年间犯“左”倾错误导致中国经济动荡和停滞的原因，同时又以对中华人民共和国40年历史的审视，提出在1957年社会主义的主题需要从革命斗争转向和平建设时，党内存在着两种趋势的观点。论文通过对两种趋势此消彼长的分析，论证中国“所选择的社会主义并不是跟‘左’倾错误相联系，而是跟经济进步、文化进步、社会进步、政治进步相联系的”；代表这种根本趋势的是1949年至1956年的中国，特别是1979年至1989年的中国。“尽管‘左’的倾向仍然需要警惕，但是总起来说，改革和开放不可逆转”，这是共和国40年历史的结论。《中国共产党怎样发展了马克思主义》是一篇“提纲式的论文”，它贯通中国共产党70年的历史，从12个方面，论述了以毛泽东为核心的第一代中央领导集体和以邓小平为核心的第二代中央领导集体对马克思主义理论作出的重要发展和贡献。文中提出“中国在50年代确立了社会主义制度，在80年代实行了改革开放。中国的一切成就都应归功于这两座里程碑”，“改革开放事业是50年代社会主义改造事业的真正的续篇”的论断，把两代领导集体对中国社会主义道路的艰辛探索及其积极成果联系起来、统一起来，精辟独到，意义深远。“党史三论”可以说是胡乔木晚年写下的中国社会主义革命和建设史纲要。
《胡乔木回忆毛泽东》一书，胡乔木本想从自己了解的情况入笔，写40年代、50年代毛泽东的思想和活动，形成一部毛泽东思想形成和发展的历史。可惜没有来得及完成。在他逝世后两年，编写组把写书过程中胡乔木的二十多次“谈话录”和19篇“初拟稿”，编成《胡乔木回忆毛泽东》出版。“谈话录”主要谈全书设想和40年代的15个题目，具有相当高的学术价值。胡乔木着重回忆毛泽东从皖南事变到抗美援朝期间的许多重要历史活动，对毛泽东的思想和活动，作了许多深刻的阐述和精彩的评论，对毛泽东的一些不合适的看法和做法，也恰如其分地表达了自己的见解。胡乔木还谈到了一些历史事件的具体情节，说明了一些重要历史活动的原委，澄清了一些重大的历史疑问。“谈话录”涉及的历史研究方法，主要是研究毛泽东思想要同具体政策的制定与实施、同国际形势的发展变化、同党内矛盾的处理结合起来的思路，对党史、国史研究很有参考价值。“初拟稿”是党史工作者在胡乔木指导下查阅档案、进行研究后写成的，披露了大量珍贵史料，对理解“谈话录”涉及的历史事件和人物是很好的补充。
胡乔木对中共党史研究最后一项重要贡献是指导和支持《中国共产党的七十年》的编写和出版。1991年夏，他抱病审读了书稿中写中共八大以后三十多年的章节，提出了重要的修改意见并亲笔作了不少修改，使这本书增加光彩，减少疏漏。他为该书写了《题记》，赞扬这是“一部明白晓畅而又严谨切实的历史”。说“这本书写得比较可读、可信、可取，因为它既实事求是地讲出历史的本然，又实事求是地讲出历史的所以然。夹叙夹议，有质有文，陈言大去，新意迭见，很少沉闷之感。”这段话可以看做是胡乔木为党史书的编写立下的一杆标尺。
类似这样从指导思想和方法论上对党史研究提出的原则和要求，是胡乔木党史学术思想的重要组成部分。
胡乔木怀着强烈的政治责任感从事党史工作。他不止一次地说过，党史不应当是一个自我封闭的体系。党史工作要改革，而要改革就必须开放。只有开放的工作才能产生开放的党史。为了改进和提高党史工作，把中共党史写成一部开放的党史，一部具有科学性的着作，他发表过许多重要的、指导性的意见。
一、研究党史，要注意四面八方
胡乔木指出：“党的历史与一定的社会政治、经济发展的历史是不能分开的。”“离开社会的发展，孤立地讲党史是不符合马克思主义方法的。”他认为，注意四面八方，党史就必须写以下几个方面：
1．要写人民群众。党史要表现党是在人民中间奋斗的，党的斗争是反映群众要求的，是依靠群众取得胜利的。要让人们看了党史以后，真正感到党是把人民放在中心位置的，是尊重人民的；而不只是党自己在照镜子，左顾右盼。
2．要写朋友。党是依靠与党密切合作的人共同奋斗的，这些人，如宋庆龄、陈友仁，如鲁迅、邹韬奋，如杜重远、阎宝航，等等，在党史中应当有他们的地位。我们党在困难时得到人家的帮助，作为胜利者来写历史时不能把人家忘了。不写他们，那是一种狭隘的宗派观念。那样的党史，人民是不会接受的。
3．要写地方与普通干部和党员。党史既要写党的中央和中央领导人的活动，也要写地方组织、党的优秀干部和广大党员群众的活动。不能因为领导的错误就把党的群众性斗争一笔抹煞。党史上的优秀干部、广大党员和人民群众的斗争，都应该有生动形象的记录。胡乔木指出：“党史应该有新的材料，新的观点，新的态度。党史是人民构成的历史，跟人民斗争的历史分不开，我们要在人民斗争历史的背景下写党史。党中央和领导人要写，但是要避免分量太大。”“党史不要只讲党中央这样正确，那样错误，还是应把人民的斗争、党的斗争，热气腾腾的局面反映出来。”
4、要阐明党的每一步胜利都是马克思主义与中国的实际情况相结合的结果。为了更有说服力地阐明这一最基本的历史经验，还必须将中国党和共产国际关于中国革命的主张、中国和苏联东欧国家关于建设社会主义的主张，进行比较研究。
这样注意了四面八方写出来的党史，才能不只是一线一面，而是立体的。
二、要详细地占有材料，进行深入的调查研究
胡乔木要求：“对党的历史的研究要进一步深入，精密化，更要重视详细地占有材料”。他说：“我们要继续做好党史资料的征集、整理和研究工作。只有充分地占有和利用一切可靠的资料，把这些资料甄别清楚，才能弄清历史事件的真相和来龙去脉，才能写出有战斗力的历史论着。”他强调：“由中共中央领导编写的党史应拿出权威性的材料。”“资料方面要有新东西”，“要拿出一些新材料，否则不可能超出过去的党史本子。”“一定要多用一些新的事实，对于这种事实一定要有新的见解，对于事实的描述和分析要有新的认识，新的思想，并且要充分利用现有的材料。已经发表的材料和没有发表的材料都要用得比较充分。这样，表明党史是在掌握了充分材料的基础上写的。”他还说：“现在美国、苏联、日本都有一些专门研究中共党史的研究会、研究所。如果我们的研究水平比不过他们，是无法向中央交代的。”
在这方面，胡乔木采取了一些措施，做了不少具体工作。