新中国成立以后，经过三年努力，到1952年冬，国民经济恢复的任务已经完成，大规模经济建设即将开始。与之相适应，进一步加强政治建设的任务提上了日程。1952年11月间，中共中央决定立即着手准备召开全国人民代表大会，制定宪法。12月1日，中共中央在《关于召开党的全国代表会议的通知》中指出，原定的“三年准备”任务已经完成、第一个五年计划即将开始，在这样的形势下，召集全国人民代表大会的条件已经具备，拟于1953年9月间召开。在这次大会上，将制定宪法，批准五年计划纲要，修改中央人民政府组织法，选举新的中央人民政府领导机关。12月24日，第一届全国政协常委会第四十三次会议接受周恩来受中共中央委托向会议的提议，决定“于1953年召开全国人民代表大会和地方各级人民代表大会，并开始进行起草选举法和宪法草案等准备工作”。
胡乔木按照中共中央的部署和全国政协常委会的决定，撰写了《人民日报》1953年元旦社论《迎接一九五三年的伟大任务》，把“召集全国人民代表大会，通过宪法，通过国家建设计划”作为1953年向全国人民提出的“三项伟大的任务”之一。社论写道：“我国既已胜利地结束了经济恢复时期而进入了大规模建设时期，按照共同纲领的规定，就应当召集全国人民代表大会和地方各级人民代表大会，选举中央和地方的人民政府。在全国人民代表大会上，将要通过宪法和国家建设计划。毫无疑问，这将要成为我国人民政治生活中的巨大事件。”
1953年1月13日，中央人民政府委员会举行第二十次会议，讨论筹备并召开全国人民代表大会及地方各级人民代表大会、起草宪法等事项。胡乔木出席。会前，毛泽东于11日召集了党外民主人士座谈会，周恩来于12日召集了政协座谈会，广泛听取意见。胡乔木参加了这两次座谈会。
在1月13日会上，毛泽东和周恩来针对座谈会上反映出来的对现在召开全国人民代表大会和制定宪法存在的一些顾虑和问题，作了解释和说明。
毛泽东指出：“就全国范围来说，大陆上的军事行动已经结束，土地改革已经基本完成，各界人民已经组织起来，因此，根据中国人民政治协商会议共同纲领的规定，召开全国人民代表大会及地方各级人民代表大会的条件已经成熟了。这是中国人民流血牺牲，为民主奋斗历数十年之久才得到的伟大胜利。”他强调：“人民代表大会制的政府，仍将是全国各民族、各民主阶级、各民主党派和各人民团体统一战线的政府，它是对全国人民都有利的。”对于现在搞选举、制定宪法有没有困难的问题，毛泽东说，困难总是会有的，但是，比起我们已经做过的几件事，如抗美援朝、土地改革、镇压反革命、三反五反、恢复经济，困难都要少一些。
周恩来指出：“我们的政治建设工作，要和我们的各种建设工作配合起来，因此在今年——经济建设开始的第一年，同时来进行政治建设。”“为着配合各种建设，我们还要把政治建设完备起来，召开全国人民代表大会以代替现在由中国人民政治协商会议的全体会议执行全国人民代表大会职权的形式，召开地方各级人民代表大会，以代替现在由地方各级代表会议代行人民代表大会职权的形式。这种时机是成熟了，因为这样才能够进一步地加强人民政府与人民之间的联系，使人民民主专政的国家制度更加完备，来适应和配合国家各种建设事业的需要。”全国人大和地方各级人大的选举原则是普选，为此要制定选举法。关于制定宪法，周恩来说，既然要召开全国人民代表大会，选举政府，共同纲领就不能再作为国家的根本法律了，就要把宪法搞出来。起草宪法虽然有困难，但是可以解决的。宪法不是永恒不变的，它只是规定现在要做的事情，我们将要制定的宪法是现阶段的宪法。宪法的制定，可以使全国人心更加安定，政治基础更加巩固，各种建设都能在政治领导的巩固基础上来进行。
会议一致通过《关于召开全国人民代表大会及地方各级人民代表大会的决议》。决议规定：“于1953年召开由人民用普选方法产生的乡、县、省（市）各级人民代表大会，并在此基础上接着召开全国人民代表大会。在这次全国人民代表大会上，将制定宪法，批准国家五年建设计划纲要和选举新的中央人民政府。”关于宪法的起草工作，会议决定成立以毛泽东为主席、有32名委员组成的中华人民共和国宪法起草委员会。胡乔木是委员之一。
《人民日报》1953年元旦社论曾预期在1953年召开全国人民代表大会，制定宪法。但中央人民政府委员会第二十次会议决议对此留有余地，没有明确规定全国人民代表大会召开的时间。这次会后，也没有立即开始宪法的起草工作。直到6月6日晚，毛泽东才召集周恩来、刘少奇、朱德、邓小平、陈伯达、胡乔木几人在他那里开会，商谈宪法问题。此后也就暂时搁下来了。这是什么原因呢？
土地改革和经济恢复任务完成以后，中国面临如何继续前进，即如何向社会主义过渡的问题。党在过渡时期的总路线，是制定宪法的指导思想和基本依据。这个问题的解决，是制定宪法的前提。这时，毛泽东和党中央的主要精力集中在解决总路线问题上面。6月15日，毛泽东在中央政治局会议上第一次比较完整地讲了这个问题。到8月形成了一段完整的文字。6月政治局会议后，中共中央宣传部即起草总路线的宣传提纲。到12月，经毛泽东审阅、修改、定稿，转发全党。这件事情办完，宪法起草工作立即重新提上日程。毛泽东集中精力做这项重要工作。中共中央政治局决定成立宪法起草小组，胡乔木是成员之一。在集中力量搞总路线宣传提纲的时候，宪法的起草已经开始准备，中央人民政府办公厅编辑了四本《宪法选举法资料汇编》，陈伯达在11月至12月间写出了一份宪法草稿。
1953年12月24日下午3时，胡乔木跟随毛泽东乘专列离开北京，同去的还有宪法起草小组另外两位成员陈伯达、田家英和负责安全保卫工作的罗瑞卿（时任公安部部长）。毛泽东一行在27日夜到达西湖边的杭州，开始从事这项奠定新中国民主与法制基础的千秋伟业——起草中华人民共和国宪法。
毛泽东住在刘庄（今西湖国宾馆）一号楼。胡乔木等宪法起草小组成员住宿和办公地点安排在北山路84号大院30号楼。毛泽东办公在30号楼的平房。通常每天下午3点，毛泽东驱车绕道西山路，穿过岳王庙，来到北山84号大院。在30号楼平房，或开会讨论，或执笔修改。