胡乔木一辈子同文字改革结下不解之缘。早在青年时代，他就对汉字改革十分关心，对语言文字的研究怀有浓厚的兴趣。1930年，他还是一个高中生，就在扬州中学校刊上发表了很专业的《淮扬方音概论》。1935年，他在上海从事地下工作，担任中共文总党团书记，就发表了《向别字说回来》，以鲁迅的《从别字说开去》为因由。阐述自己对简化汉字和拼音化的看法。他还发表了《南方人怎样学北方话》，拟订了一个《全国拉丁化汇通方案》。他当时是赞成用拉丁化新文字取代汉字的。当时共产党人瞿秋白、吴玉章、林伯渠等都是拉丁化新文字的积极鼓吹者。
新中国成立以后，为适应经济、文化建设和社会生活的需要，党和政府十分重视文字改革工作。胡乔木一直是这项工作的主要领导人之一。1949年10月，在中华人民共和国诞生的时候，就成立了第一个全国性的文字改革组织——中国文字改革协会。胡乔木受毛泽东主席委派，为发起人之一。后来又被推选为常务理事会副主任兼汉语拼音方案研究委员会副主任。1951年12月26日，政务院文化教育委员会决定设立中国文字改革研究委员会，胡乔木为委员。1953年10月1日，中共中央为加强对文字改革工作的领导，协调党内对于文字改革的不同意见，研讨文字改革工作的重大原则和实行步骤，成立中共中央文字问题委员会。胡乔木由毛泽东提名任该委员会主任。1954年10月8日，一届全国人大常委会二次会议批准设立中国文字改革委员会，承担文字改革三项任务：简化汉字，推广普通话，制订和推行《汉语拼音方案》。胡乔木为文改会委员之一。为完成文字改革的三项任务，他不遗余力地进行努力，作出贡献。他参与了制定《汉字简化方案》和《汉语拼音方案》的全过程，负责起草了《国务院关于推广普通话的指示》。这三个法规性的文件，都是他在重要会议上作专题报告或详细说明之后通过的。
胡乔木关于文字改革的学术思想和观点，在50年代完成文字改革三项任务中发挥了重要作用。
关于简化汉字。胡乔木指出，“简化汉字，首先是对已经存在的事实的承认。”“简体字的存在实在已经有几千年的历史了。”“汉字简化是历史的趋势，为了减轻学习汉字的人的负担，必须简化汉字。”“现在简化的办法，可以说是一种革命的改良”，“是适合于群众的迫切需要的”。
关于推广普通话。胡乔木指出，语言不统一，使得我们在政治上、经济上、文化上都遇到许多障碍，已经成为我们国家生活里面的一个尖锐问题。推广普通话，对于政治、经济、文化来说，是迫切需要解决的问题，对于汉语本身的发展，对于文字改革，也是迫切需要解决的问题。推广普通话，“首先要把标准语确定下来”，“汉语应有统一的语音”。为此，他提出要研究方言，实行有系统的方言调查，要研究汉语的语汇、语法。在1956年起草《国务院关于推广普通话的指示》时，胡乔木概括语言学界的意见，提出汉语统一的基础，“就是以北京语音为标准音、以北方话为基础方言、以典范的现代白话文着作为语法规范的普通话”。并历史地、具体地说明这种“汉民族共同语”“是汉语历史发展的自然的结果”；推广普通话，“是促进汉语达到完全统一的主要方法”。
关于制定和推行《汉语拼音方案》。在对《汉语拼音方案（草案）》的说明中，胡乔木从对北京话同上海话、武汉话、南京话等方言的对比中，分析北京话语音清浊、尖团、声调（调类调值）的特点，说明拼音方案为什么以北京语音为标准音的道理；从对比分析汉语和印欧语系诸种语言的不同，说明拼音方案为什么采用拉丁字母为工具而又不完全遵守国际上使用拉丁字母习惯的道理，都有很强的说服力，有很高的学术性。
在“文化大革命”受迫害的情况下，胡乔木也没有忘怀文字改革。除了“检查交代”以外，他就是做两件事：一件是读四卷本《马恩选集》，还有一件就是研究汉字结构，探索简化汉字的新路。
十一届三中全会以后，胡乔木担负繁重的领导工作。但他仍然十分关心文字改革，提出新时期文字改革工作“不能求成过急”，“仍然要坚持文字必须稳步进行改革的方针”。他认为当前文字改革的任务，主要是：大力推广普通话，积极普及普通话；研究整理现行汉字，制定现代汉语用字的各项标准；进一步推行《汉语拼音方案》，使《汉语拼音方案》在实际应用中完善化、规范化；加强有关文字改革的社会调查和学术研究，并进行各种规范的实验。这就把新时期的文字改革工作放在切实可行的基础之上。
胡乔木通过对汉字深入具体的、辩证的分析，提出实现汉字信息化的新路径。对于文字改革工作来说，胡乔木热心，而又内行；既是总揽全局、决策得当的领导人，又是学术专精、造诣很深的学者。胡乔木是文字改革和汉语规范化的推行者，堪称20世纪中国文字改革的杰出代表之一。
胡乔木是汉语规范化的倡导者之一。胡乔木认为，为此要做许多科学工作。语言学家的任务之一就是要发现语言里面的客观法则。建立和推行语言标准，这就是实现规范化。他指出：汉语方言分歧严重，使汉语规范化工作显得特别重要和迫切。要把汉语规范工作当作一项非常重要的政治任务。胡乔木不遗余力地为汉语规范化而努力。1951年6月6日《人民日报》发表了在胡乔木主持下撰写的《正确地使用祖国的语言，为语言的纯洁和健康而斗争》的社论，接着经他组织，连载了吕叔湘、朱德熙的《语法修辞讲话》。胡乔木特别重视词典编纂和方言调查。在《关于推广普通话的指示》中明确规定任务：1956年上半年完成《汉语拼音方案》；1956年编好确定语音规范为目的的普通话《正音词典》；1958年编好以确定词汇规范为目的的中型的《现代汉语词典》；1956年至1957年完成全国每一个县的方言初步调查。在日常生活中，纠正《人民日报》和出版物（从青年到名家）语言使用上不规范的毛病，成了胡乔木的习惯。
20世纪80年代初，从对第二次汉字简化方案（1977年12月）的得失以至存废，引起了文字改革的又一次热烈讨论。1982年1月胡乔木以中共中央书记处书记、中国社会科学院院长的身份，在文改会主任会议上发表讲话，总结30年来文改会担负三项任务取得的成绩，就今后怎样继续完成三项任务，特别是汉字的整理和简化工作怎样适应信息处理和机械化的需要，提出了战略性转变的意见。他指出：“我们不能再像过去那样单纯考虑如何减少汉字的笔画和汉字的字数，零零碎碎地去搞这个字怎么简化、那个字怎么简化；而是要研究和提出一些重要原则，全盘解决汉字的整理和简化，以适应汉字信息化的要求。”胡乔木提出实现汉字信息化的路径，是“首先把现代汉字的字形改造成为许多可以独立的字形组合成的字，也就是先要把汉字改造成拼形的文字。”根据这个思路，胡乔木提出了减少汉字结构单位——部件，减少汉字结构方式，减少汉字笔形，尽量分解汉字等简化汉字的15条原则。这些中肯的意见，是以他长期研究的成果作基础的。其中重要的着作，就是他在“文化大革命”身处逆境写出的、长达万字的《汉字部件论》。
关于简化字的修订，胡乔木认为，要通盘考虑，不仅要考虑废止“二简”，对1956年公布的“一简”中明显不合理的字也要考虑改掉。针对有些语言学家急于实行拼音化的主张，他说，“据我看，一百年左右时间实现不了拼音文字”，“汉字是消灭不了的”，“在很长的时期内汉字还要用，拼音化的过程将是很长的”。胡乔木指出：“在新的历史时期内，仍然要坚持文字必须稳步进行改革的方针。”当前文字改革的任务主要是：大力推广普通话，积极普及普通话；研究整理现行汉字，制定现代汉语用字的各项标准；进一步推行《汉语拼音方案》，使《汉语拼音方案》在实际应用中完善化、规范化等。这就把文字改革工作放在切实可行的基础上。
胡乔木之于文字改革工作，有以下三个显着的特点。
第一个特点，站得高。他总是把推广普通话、简化汉字等文字改革的问题同整个政治、经济和社会生活的发展与需要相联系。20世纪30年代肯定手头字、拉丁化方向是在那时左翼文化战线致力于大众化方向的背景下提出的；20世纪50年代的文字改革工作又同新中国成立后经济建设的高潮相联系；到了20世纪七八十年代，他又自觉地把文字改革同信息化、现代化结合起来。胡乔木对于文字改革的探索同现在提倡的“与时俱进”要求是一致的。
第二个特点，抓得实。他不仅提出方针、原则和要求，而且有切实、具体、有效的措施。胡乔木是汉语规范化的倡导者之一。他认为，“在语音方面是统一的，在语法方面、词汇方面是合乎现代汉语规范的。这样，我们的语言才能够进到完全成熟的阶段。”他指出：汉语方言分歧严重，使汉语规范化工作显得特别重要和迫切。要把汉语规范工作当作一项非常重要的政治任务。为此，语言学家要发现语言里面的客观法则，建立一种合乎客观法则的语言标准，并推广实行，来影响语言发展。他不遗余力地努力。一方面，从语音、词汇、语法方面提出标准，另一方面，又组织全国每一个县的方言调查，组织编辑以确定语音规范为目的的《正音字典》，以确定词汇规范为目的的《现代汉语词典》。
第三个特点是科学创新。善于运用唯物辩证法，科学地解决难题，进行创新。在20世纪50年代制订“汉语拼音方案”时遇到了如何拼写“基、欺、希”三个声母的大难题。胡乔木坚决支持不用变读法的主张，认为采用罕用字母Ｊ、Ｑ、Ｘ是唯一的好办法。在他支持下制订了声母全部不用变读法的汉语拼音方案。着名语言学家周有光称赞胡乔木是“毛泽东时代中国共产党中央的一颗智慧巨星”。在“文化大革命”中，胡乔木通过对汉字部件结构、内部联系和历史发展的系统研究，提出新式简化汉字的设想，科学创新精神表现得更为突出。胡乔木指出，汉字的改革要建立在对汉字的系统研究和辩证分析的基础之上。他认为“简易通用声旁，它的发展是目前汉字简化的主要趋势。”“简易通用声旁的继续大量发展的趋势，和原有复杂的、不能通用的、不能表音或适当表音的结构或声旁之间的矛盾，我看是目前汉字发展中的内在的主要矛盾。”“用最少量、最简易、便于通用化、便于分解组合的声旁，加上最少量的简易义旁，来拼写绝大多数汉字，是有现实可能的。”他认为，从汉字信息化的要求出发，这种“尽量采用组合式”、“以简易通用声旁为核心的新式简化汉字，不但便于教学认记，便于打字印刷和信号化，而且它是基本上表音的文字，基本上与普通话拼音相对应，因此它将是促进汉字走向拼音化、机械化的重要关键”。在“文化大革命”失去自由的情况下，胡乔木在科学研究的基础上，对汉字改革提出的新思路，及其科学创新精神，是永远值得学习和发扬的。