胡乔木青少年时代在家里就从父亲的藏书中读过《世界现行宪法》等着作，在这方面有些知识积累。1949年参加起草《共同纲领》时对各种宪法又进行过一些研究，形成比较系统的见解。这次为起草中华人民共和国宪法，又认真研读了各种类型的宪法，包括：1918年苏俄宪法、1936年苏联宪法；《人民民主国家宪法汇编》（人民出版社出版）中辑录的罗、波、捷（捷克斯洛伐克）、德（德意志民主共和国）等各人民民主国家的宪法；法国1946年宪法（代表较进步较完整的资产阶级内阁制宪法）；中国从清朝以来的历次宪法（包括有宪法作用的“条规”、“约法”）：清朝宣统三年（1911）的《十九信条》，民国元年孙中山颁布的《中华民国临时约法》，1913年的《天坛宪法草案》（代表内阁制），1923年的曹琨宪法（代表联省自治制），1934年蒋介石的《中华民国训政时期约法》，1946年蒋介石宪法（代表总统独裁制）。对在《共同纲领》之后制定的这部新中国宪法应该是一部怎样的宪法，在胡乔木的心里，是有一些设想的。他看了陈伯达起草的宪法草稿，觉得问题太多了。田家英也有同感。
在毛泽东召集的第一次起草小组会上，胡乔木对陈伯达起草的宪法草稿提了许多修改意见。陈伯达很不高兴。会后，陈把气出到田家英头上，对田发火，说，任何人不经他许可，不得在主席面前议论他所起草的那个稿子。以后再开会讨论，田家英只得把胡乔木和他要提的意见先向陈伯达汇报。同去的罗瑞卿后来也参加了讨论。他没有顾忌，直截了当地批评陈伯达的稿子。更为重要的是，毛泽东对陈伯达的草稿很不满意，在许多重大问题上当面提出种种修改意见。几次讨论下来，陈伯达像被寒霜打蔫了的小草一般，垂头丧气。陈伯达消极怠工，胡乔木和田家英把起草宪法的责任担当起来。
从1954年1月9日开始，毛泽东领导宪法起草小组重新起草。毛泽东有一个比较具体的计划：争取在1月31日完成宪法草案初稿，随即送中央各同志阅看；准备在2月上半月将初稿复议一次，请邓小平、李维汉两同志参加，然后提交政治局（及在京各中央委员）讨论作初步通过；3月初提交宪法起草委员会讨论，在3月份内讨论完毕并初步通过；4月内再由宪法起草小组审议修正，再提政治局讨论，再交宪法委员会通过；5月1日由宪法起草委员会将宪法草案公布，交全国人民讨论四个月；9月间根据人民意见作必要修正后提交全国人民代表大会作最后通过。
根据毛泽东的这个时间表，胡乔木等在北山30号楼加紧研究和起草，往往一干就是一个通宵。即使如此努力，重写初稿的任务比原定计划还是推迟了半个月，在2月中旬才将初稿写成。毛泽东立即派专人于18日乘火车把宪法初稿清样（油印打字稿）送往北京，并在2月17日晚10点给刘少奇并书记处各同志发去一份电报，对后续工作进行具体布置。毛泽东说：“现将宪法初稿（五份）派人送上，请加印分送政治局及在京中委各同志，于2月20日以后的一星期内开会讨论几次，将修改意见交小平、维汉二同志带来这里，再行讨论修改（约七天左右即够）。然后，再交中央讨论，作初步决定（仍是初稿），即可提交宪法起草委员会讨论。因此，小平、维汉原定20日动身来此的计划，可推迟到月底动身。送初稿的人明（18）日动身，20日可到北京。”
宪法初稿于2月18日送往北京以后，起草小组没有休息和等待，在毛泽东领导下，对宪法初稿边读边改。胡乔木、田家英都是才思敏捷的快手，一份修改稿很快完成，称“二读稿”。稿子陆续印出清样，毛泽东分两批送往北京。2月24日凌晨两点，毛泽东给刘少奇一信，说：“兹将宪草初稿第二章以下二读稿及宪草小组报告送上，请印发各同志阅看。”
2月24日这天，毛泽东带领起草小组对二读稿又讨论了一次，提了不少具体修改意见。会后，毛泽东给胡乔木写去一张便条，指示：“今天所谈可作修改的地方，请于明日加以修改，并由小组同志商酌一次，于明夜廿四点以前打好清样送给我，准备后天（廿六日）送给中央。”
胡乔木立即照办。他按讨论中所提意见逐一修改，然后同陈伯达、田家英等商酌写定，立即打出清样，送呈毛泽东阅改。毛泽东于2月26日凌晨2时致信刘少奇并书记处各同志：“为便于中央在这几天讨论宪法草案，这里的小组赶于两天内又作了一次修改，称为三读稿，现送上，请照此印发中央各同志阅看。”
2月28日和3月1日，刘少奇在北京主持召开中共中央政治局扩大会议，讨论并基本通过了宪法草稿初稿三读稿。会议决定由董必武、彭真、张际春三人，以董必武为主，根据政治局扩大会议讨论意见对三读稿进行研究和修改。还请了周鲠生和钱端升为法律顾问，叶圣陶和吕叔湘为语文顾问。
在杭州的起草小组对中央政治局扩大会议对三读稿所提修改意见十分重视。经过认真研究、讨论，在3月9日写出“四读稿”，提供给3月中央政治局会议进一步讨论、修改。与此同时，起草小组写了《宪法草案初稿说明》，经毛泽东修改审定。
从1953年12月24日离开北京，到1954年3月9日写成宪法草案四读稿，胡乔木和田家英等人在毛泽东直接领导下为起草宪法忙了两三个月。虽然辛苦，但精神上得到很大的满足。他同毛泽东的意见，总的说来是一致的，但也不是没有分歧。关于宪法要不要有纲领性的内容，即能不能写进将来要完成的任务，胡乔木同毛泽东有不同意见。对此，毛泽东后来曾经谈过。他说：“一般地说，法律是在事实之后，但在事实之前也有纲领性的。1918年苏维埃俄罗斯宪法就有纲领性的。后头1936年斯大林说，宪法只能承认事实，而不能搞纲领。我们起草宪法那个时候，乔木称赞斯大林，我就不赞成，我就赞成列宁。我们这个宪法有两部分，就是纲领性的。国家机构那些部分是事实，有些东西是将来的，比如三大改造之类。”
宪法初稿四读稿送到北京以后，刘少奇再次主持召开中央政治局扩大会议，于3月12日、13日、15日连续开会，进行讨论。至此，宪法草案初稿的起草工作告一段落，准备扩大范围讨论修改后提交宪法起草委员会。会议决定：以陈伯达、胡乔木、董必武、彭真、邓小平、李维汉、张际春、田家英等八人组成宪法小组，负责初稿的最后修改；组成宪法起草委员会办公室，以李维汉为秘书长。
就在3月15日这一天，毛泽东率领宪法起草小组人员离开杭州，于17日回到北京。
在这之前几天，胡乔木因操劳过度，右眼得了中心性视网膜炎，送回北京进行紧急治疗。在北京医院医治不怎么见效，经过商量和联系，胡乔木便前往苏联莫斯科，住进了克里姆林宫医院。一直到眼疾康复，于1954年8月间回国。
在此期间，宪法草案经过1954年3月23日至6月11日历时81天的广泛讨论和反复修改，经过6月14日毛泽东主持召开的中央人民政府委员会第三十次会议审议通过，并经过有1亿5000多万人参加的全国性大讨论，又作了一些重要修改，快要定稿了。
胡乔木回到北京以后，参加了毛泽东于9月8日主持召开的宪法起草委员会第八次会议，对宪法草案作最后讨论修改。接着，又参加了9月14日毛泽东主持召开的中央人民政府临时会议，对第二天即将提交第一届全国人民代表大会第一次会议讨论的宪法草案，作最后的审议。会议一致通过了两项修改意见。
1954年9月15日下午3时，第一届全国人民代表大会第一次会议在北京中南海怀仁堂隆重开幕。胡乔木作为江苏省代表出席。毛泽东在开幕词中提出这次会议的四项任务，“制定宪法”列在首位。在这天会上，刘少奇受宪法起草委员会委托作了《关于中华人民共和国宪法草案的报告》。9月20日，会议采取无记名投票方式对《中华人民共和国宪法》进行表决，获得全票通过。当天，中华人民共和国全国人民代表大会发表公告：《中华人民共和国宪法》已由中华人民共和国第一届全国人民代表大会第一次会议1954年9月20日通过，特予公布。
在9月27日的全体会议上，胡乔木当选为第一届全国人大常委会委员。也就在这个月，他担任了中共中央副秘书长的职务。