胡乔木在修改说明中说：“宪法里写上政协的地位和作用还是第一次。有的同志建议，在这段内容上写上政治协商、民主监督，这对政协来说是完全正确的。但在宪法里写上，就有一些必须考虑的问题。关于政治协商，‘中国人民政治协商会议’的名称就包括了这个意思，不必写了。关于民主监督，在政治上是指各党派之间的关系，这是正确的。而且，几年来政协对党政工作，提出了许多好的批评和建议。但在宪法上写上民主监督，从法律的角度看，这就与人大的权力有矛盾了。国务院既要对人大，又要对政协报告，并接受双方的监督，这个任务是难以承担的。那实际上就会形成两个最高权力机关。这样一来，就会使国家的政治生活造成混乱。政治上讲民主监督是正确的，但不能法律化。宪法写上不方便，也不好明确写。如果人大、政协出现意见不同时，怎么办？听谁的？因此，在国家权力结构中，只能有一个权力机关。不要把党派之间的关系和国家权力机关混同起来。这不是说政协的民主监督的职能有任何问题。有的同志还建议，在宪法里把政协怎样发挥作用的形式写上。我认为不仅政协有这个问题，人大和政府部门以至共产党和其他各政党都有怎样发挥作用的问题。这些问题能都写在宪法上吗？政协发挥作用的形式不写上，无损于政协的地位和作用。”
对胡乔木的说明，大家表示理解。全国政协副主席刘宁一、孙起孟致信胡乔木说：“不少同志听了乔木同志在宪法修改委员会第三次全体会议上的说明以后，觉得很能解决问题。大家希望将乔木同志这次说明中有关政协部分的记录，印发给政协章程修改委员会的委员。”胡乔木对随信附来的记录稿作了修改，并告《人民日报》约孙起孟就此写一短文。
三、支持恢复设立国家主席的规定
中华人民共和国设立国家主席是1954年宪法作出的规定。在“文化大革命”内乱中，国家主席受到迫害，其权力被取消、剥夺。在林彪集团阴谋篡夺党和国家最高权力的情况下，是否设立国家主席一度成为政治斗争的焦点。在特殊的历史背景下，1975年宪法取消了国家主席的职务。1978年宪法继续沿袭了这个做法。这次修改宪法，要不要恢复设立国家主席，成为必须解决的一个重大问题。对此，中央酝酿了一年多时间，一直未能做出决断。1981年12月4日，彭真致信胡耀邦并中央常委，提出：关于国家主席问题，需要中央作最后的决定才能提交修宪会讨论。关于这个问题，草案大体是照抄1954年宪法的条文，供中央考虑作最后的决定。1982年2月20日，中央政治局扩大会议讨论宪法修改草案，关于设立国家主席，意见仍不一致。邓小平主张设，有几位同志不主张设。他们的理由是，如设，只有小平同志担任主席，这样又增加他的很多事务，对健康不利。邓小平说：除了我，别人也可以当嘛！当天没有得出结论，定23日继续讨论。胡乔木认为恢复设立国家主席是关系到国家长治久安的大事。遂于2月22日上午给胡耀邦、万里、习仲勋、杨尚昆写信，请他们在23日的政治局会议上发言，大力支持小平同志的意见，说这是一件关乎党和国家政治生活正常化的久远的大事。此信又加送彭真。22日下午，彭真在人民大会堂主持召开人大常委会第二十二次会议。会后，彭真找胡乔木和胡耀邦、万里、习仲勋、杨尚昆说，同意乔木同志的意见，要支持小平同志恢复设立国家主席的设想。在明天的政治局会议上，他要发言，希望别的同志也发言。第二天政治局会议，意见一致，恢复设立国家主席的问题得到解决。27日，宪法修改委员会举行第二次全体会议，胡乔木做宪法草案修改说明，明确地说：“现在我国各方面都恢复了正常，因此，从国家多年的惯例着想，还是在修订宪法草案时考虑恢复国家主席比较适宜。这是表明国家的正常化，国家的稳定。”
恢复设立国家主席的意见得到与会人员的广泛赞同。费彝民委员（香港《大公报》社长）致信宪法修改委员会说：“详细读了宪法修改草案（讨论稿），又听了胡乔木秘书长的扼要说明，衷心感到满意。我完全同意第三章第二节恢复中华人民共和国主席的条款。我们这么大的国家不应该长期‘群龙无首’。”
接着而来的问题是国家主席的职权该怎样规定为宜。1954年宪法对国家主席职权规定具体，职权很大。新的宪法如何规定为宜？邓小平于1982年4月5日找彭真、胡乔木谈宪法修改问题时对此作了指示。他说：“总理是国家首脑，主席是荣誉职务。主席写得虚一点，不要规定有什么实权。条文要缩短。要彻底研究一下，看看外国实行内阁制的国家关于主席是怎样写的。”第二天上午，胡乔木即向几位副秘书长传达了邓小平指示精神，并说：“根据小平同志提出的国家主席职权要虚、总理职权要实的意见，除规定能做什么外，还要规定不能做什么。宪法要有法律意义，不要走形式。”胡乔木还提出：“建议国务院设国务委员，减少副总理。部长不一定是国务委员。”按照邓小平的指示和胡乔木的意见，关于国家主席的职权，宪法修改委员会决定不沿用1954年宪法的规定，修改为：“第八十条 中华人民共和国主席根据全国人民代表大会的决定和全国人民代表大会常务委员会的决定，公布法律，任免国务院总理、副总理、国务委员、各部部长、各委员会主任、审计长、秘书长，授予国家的勋章和荣誉称号，发布特赦令，发布戒严令，宣布战争状态，发布动员令。”“第八十一条 中华人民共和国主席代表中华人民共和国，接受外国使节；根据全国人民代表大会常务委员会的决定，派遣和召回驻外全权代表，批准和废除同外国缔结的条约和重要协定。”
四、提出宪法要对“一国两制”作出相应规定
为实现祖国统一大业，解决台湾问题和香港、澳门回归祖国的问题，邓小平提出了“一国两制”的伟大构想。在修宪过程中，胡乔木提出：宪法应对“一国两制”作出相应的规定。胡乔木起草了条文，这就是宪法修改草案的第三十一条：“国家在必要时得设立特别行政区。在特别行政区内实行的制度，按照具体情况由全国人民代表大会以法律规定。”并在第六十二条关于全国人大的职权中作相应的规定：“决定特别行政区的设立及其制度。”后来，在实现香港回归的过程中，起草香港特别行政区基本法时，有些香港人士有顾虑，认为在香港实行不同于社会主义制度的资本主义制度不符合宪法，要求相应地修改宪法，明文规定在香港实行“一国两制”。参加1982年宪法修改工作的负责同志答复说：宪法第三十一条就是为实行“一国两制”而作的特别规定，因而不需要修改宪法。在香港设立特区，制定香港特别行政区基本法，是有宪法依据，符合宪法规定的。
五、建议恢复乡政府、村长和在农村实行义务教育
1958年8月人民公社化运动以后，中国农村就采取“政社合一”的做法，取消了乡级政权和村长，由人民公社管理委员会和生产大队队委会、生产队队长代替。关于农村义务教育，1954年宪法虽有规定，但实际并没有真正实行。胡乔木认为，恢复乡政府和村长，在农村实行义务教育，这两个问题，在现实生活中亟待解决，在修改后的新宪法中也应该得到反映。
1982年1月，胡乔木看到两件有关农村治安情况的材料（一件是《四川达县发生一起利用封建迷信造谣、称帝、奸淫、杀幼的特大案件》，一件是《辽宁一些地方赌博风愈演愈烈》），更感到解决这两个问题的紧迫性。1月10日，胡乔木为转送这两份材料写长信给邓小平、陈云并转胡耀邦、赵紫阳，提出恢复乡政府、村长和在农村实行义务教育两项重要建议。胡乔木在概述农村政治、文化落后状况后写道：