1959年庐山会议后，被罢免国防部长的彭总搬到了北京郊外的吴家花园。不久，彭总交了不少农民朋友。几年里，彭总和他们你来我往的，象走亲戚一般。
起先，乡亲们不认识彭总，见他对农事感兴趣，他们干什么也帮着干，只觉得亲切。有天晚上，彭总和一个老头在田坎上抽烟闲聊。那老头问：“老同志，你是农科所的吧？”他说：“不！我在家的时候干过农活，几十年不干了，荒生了，现在想重新干干，来向你们学习的。”
“你贵姓；几十年都在干啥？”
“我姓彭，几十年都在打仗，干军队上的事情。”
“哎呀！”老头惊诧不已，喊道：“你姓彭呀？莫非是彭老总呀！”
“我姓彭不错，可不是老总罗！”
消息传开，附近几家人都涌出来看彭总，都要拉他进屋坐坐。彭总坦然地说：“我现在是个有问题的人，以后在田头向你们学点手艺，希望乡亲们不要嫌弃我。谢谢大家，你们屋里我就不去了。”临别时，彭总告诉他们家住那里，请他们去做客。
过了一些日子，彭总见没有人来他家串门，就再次向一些老头子发出邀请。大概有人告诉彭总，院门口的哨兵不让他们进来。这下可把他的火气引发了：“你们不让我见群众，我就给毛主席写信。我不在这里受憋，我要回家当农民……警卫人员向彭总解释，哨兵不让老乡进来，是出于好意，执行哨兵的职责嘛。并向他保证：以后只要我们认出是这里的老乡，随来随请。这样他才消了气。”
以后，这院子里就热闹了。老的少的，男的女的，都来串门。婆媳不和、两口子打架，也来找彭总断是非。有一次，一个妇女把个生病的孩子也抱来请彭总看。警卫员向她解释彭总不是医生，他坚持说：“让好人摸摸臀，没有坏处。”
中南海放电影的同志经常想到彭总。他们对警卫员说：“只要彭总想看电影，你打个电话来就行。”放电影的时候，彭总自己把小凳子一排排摆好，叫警卫员去请老乡来。开始，警卫员给彭总摆了一张大皮椅在中间，他硬叫搬开。每次看电影，彭总都和乡亲们坐在一样的板凳上，还自己提着水壶给放映员和老乡们倒开水。
中南海管理局的同志也十分关怀彭总。彭总院里原来的自来水有些苦味，他们派人来专门打了一眼很深的机井。水质很好。彭总跑去告诉附近的群众：“你们来我这里担水吧。”从此，担水的群众络绎不绝。但是从大门进来，要绕一段路。彭总见了，说这事还没办彻底，又叫工作人员在墙外装了一个水龙头，把打出的井水引出来。这样，群众用水就十分方便了。
1963年，一连下了几天几夜的暴雨，住地周围成了一片汪洋，院子里水深及腰。彭总头顶雨布，打着赤脚，蹚着深水到附近农家去探望。对一些房屋有倒塌危险的人家说：“到我那里去住吧，我把南屋腾出来了……”吴家花园附近的许多居民，至今都还记得！
农民潘宝荣的小女儿，用一块布包着书本上学。彭总看到了，便问孩子：“你的书包呢？”孩子说：“妈妈说，过了年才给我买。”彭总知道潘家孩子多，生活困难，很想送给孩子一个书包。但孩子很懂事，总是说：“妈妈说，好孩子不要别人的东西。”彭总听了，十分尊敬这位妈妈，也更喜欢这个孩子。后来，接触的日子长了，小姑娘信任他了，更加亲近他了。两人建立了友谊，彭总这才高高兴兴地带着孩子上商店，给她买了书包、钢笔，还给她买了一条鲜艳的头巾。
陈家的孩子来挑水，人比水桶高不了多少，走起来，桶底挨着地。彭总问明了陈家的大人病了，便和孩子相约：你每天按时来，彭伯伯给你挑，可是，说什么孩子也不让。彭总就在孩子挑水的时候，悄悄站在他身后，用两手托着扁担。这样一来，比挑水还吃力。孩子不得已，只好把扁担交给了彭伯伯，从此，彭总多次把水挑进病人家。
彭总自己没有儿女。黄公略同志和左权同志的女儿跟在他身边。他对他们视同己出，关怀爱护，无微不至。在彭总的严格要求和耐心教育下，几个孩子都接下了老一辈无产阶级革命家的好作风，学习努力，衣着朴素，很讲礼貌。从小他们就学会料理生活。孩子们夏天游泳后，他都要求用冷水冲洗，但又觉得水温过低，担心着凉，便接上一盆盆冷水晒在太阳下，等着孩子们回来。他是个真正的慈父。
孩子们渐渐长大了，有时工作忙或被什么事绊住了，没来或者来看望他晚了些，彭总就久久在站在门外，忧郁地望着暮色中的汽车站。
关心群众，信赖群众，平等待人，是最伟大、最正直的品质。