新中国成立刚刚10个年头，也就是50年代末到60年代初，大跃进运动风起云涌，共产风、浮夸风吹遍大江南北，弄虚作假、报喜不报忧等现象非常严重，农村中“饿、病、逃、荒、死”的现象大量出现，曾希圣为此深感失职、内疚和痛心。
曾希圣深入农村调查研究，了解实际情况，他发现人民公社化以后，在高指标和“共产风”的影响下，把过去的包工包产责任制全吹掉了。他广泛地研究各行各业的责任制办法，认识到任何生产都要有责任制。没有责任制，工作就搞不好。没有责任制，社员的劳动与报酬没有直接联系，劳动过程中缺乏责任心，生产就搞不好。他亲自组织省委干部研究农村合作化的历史，解剖解放后的农村，以图找到一条摆脱困境、走向坦途的出路，探索农村发展的前途和未来。
在认真分析研究的基础上，曾希圣决定采取划小包产单位，实行包产到组，认真评工记分等办法，调动农民的积极性。1960年8月28日，曾希圣在省委召开的县以上干部工作会议上明确指出“要评工记分，要包工包产”。他主持制定了有关人民公社经营管理的10条具体政策，提出了“包产到组”的新办法，以安徽省人民政府的名义下发各地，并在11月召开的地、市委书记会议上进行推广。
曾希圣提出的这套办法，在安徽得到全面贯彻。与全国大部分地方相比，安徽的做法已超出某些条条框框的限制，走在了探索新路子的前头。他把生产队下面的小组作为一个生产经营单位，突破了“三级所有，队为基础”的限制。
1960年冬，毛泽东在中央召开的中央局书记会议上说“可以把高级社时期实行田间管理农活包工到户的办法恢复起来”，引起了曾希圣的极大兴趣，曾希圣理所当然地考虑到进一步缩小包工包产单位，提出了试行包产到户的主张。
年底，曾希圣提出先在偏僻山区搞个包产到户的试点，省委根据他的意见，布置舒城县委在晓天公社一个大队搞了包产到户试验。经过一年的实践，群众创造出了包产到户这一行之有效的办法，农民不但可以交给大队很多粮食，自己还有了余粮，靠养猪、养鸡还能有一点经济收入。这一情况与当时困难已达极点的农村形势形成鲜明对照，当地农民得到启发，向领导要求包田耕种。曾希圣认为，包产到户的办法值得推广。
1961年2月，曾希圣在省委书记处会议上，提出了“按劳动底分包耕地，按实产粮食记工分”的联产到户责任制新办法。这种办法按社员的实际产量记工分，产量越高，得分越多，收入也就越多，得到群众的拥护和赞同。
省委书记处会议对曾希圣提出的办法进行了认真研究，大家一致同意他的观点，赞成他的设想。但是，在全国范围内包产到户已多次受到批判，被判定为资本主义道路。推行曾希圣这一名义虽非实质仍是包产到户的办法，肯定会冒风险。会后，曾希圣向中共中央华东局第一书记柯庆施作了汇报，得到的指示说：“这个办法不推广，每个县先搞一个典型试验一下。”
根据柯庆施的指示，也是为了验证自己设想的合理性，曾希圣亲率工作组到合肥市郊的人民公社进行蹲点试验，通过与农民广泛接触，了解试行“包产到户”的实际情况，他加深了对这一办法的认识，并总结出“十大好处”，其中最大的好处是“人人有责，大家都会动脑筋想办法来增加生产；所有能够参加劳动的人都参加生产……”等等。
3月7日，曾希圣赴广州参加中央工作会议，在华东小组会上作了汇报，引起了一场争论。有人说这是“组织起来的单干”、“农民向国家交地租”、“又回到土改分田的时候了”。听到这些反映，曾希圣将这一办法的好处和缺点向毛泽东作了汇报。
毛泽东说：“你们试验嘛！如果搞好了，能增产10亿斤粮食，那是一件大事。”由此可见，当时毛泽东对曾希圣的做法是支持的，最起码没有明确表示反对。
此时，正值全国面临严重的自然灾害时期，山东省出现了严重的饥荒，根据毛泽东和党中央的指示，免去中共山东省委第一书记舒同的职务，由中共华东局第二书记、安徽省委第一书记曾希圣兼任山东省委第一书记。曾希圣身兼两省第一书记，这在建国以后地方高级干部中是不多见甚至是绝无仅有的。这一方面说明他精明强干，能力超群，另一方面也说明了党中央、毛泽东对他的充分信任。