唐代幕府的生活是很严格的。每天都是天刚亮就入府办公，夜晚才能出来；杜甫因为家住在城外，往来不便，便长期住在府中。不但生活呆板，而且西川节度使府毕竟是一个大的府，幕僚与各级官吏都很多，府中的人事也非常复杂。那里的文武官员因为中原变乱，无法生存，西蜀可以勉强维持生计，所以彼此勾结阿谀，或是相互倾轧，尔虞我诈，以保全自己的地位。
杜甫这年已经五十三岁，满头白发，穿着狭小的军衣，在幕府里与那些相互猜疑、相互攻击的幕僚周旋，时日稍久，心里便充满了难言的忧虑和苦楚。但他还勉强自慰地对自己说，不要责怪那些幕僚们，记住他们的缺点这种小事不是高贤所为。所以他在幕府里尽力克制自己的冲动，忍受着他们的攻击。但幕府里的生活实在是令人窒息而规矩众多，须时时小心谨慎从事。这对于一个五十多岁的饱经沧桑的老人来说，实在是难以支撑的。又加上他早年就有肺病、疟疾，现在又患上了风痹，精力实在跟不上了，于是这些幕府中的后起之秀们就更加排挤他了。
严武虽然关照杜甫，但他越是给予特殊照顾，越是引来同僚的妒忌，这使杜甫在严武的幕府里感到很是难堪。而且，面对幕僚们的攻击，严武并没有出面调解、缓和杜甫的这种尴尬处境，而是任由他的部下们排挤和倾轧杜甫。或许严武认为这些小事不值得他去调和，或许是他公务繁忙，自然想不到杜甫的处境。杜甫一方面想到自己当参谋而不能为主将分忧，不能报效国家，另一方面又想到同僚们对他的倾轧，不免感觉到被遗弃，内心充满了孤苦。
杜甫在幕府中与同僚之间相处得的确很不愉快。那些年轻同僚尔虞我诈，态度强横，都想在乱世中升官发财，对杜甫这样迂腐、忠厚、老态龙钟，企图以正道来澄清浑浊官场的老人非常讨厌。杜甫面对这种情形，写了《莫相疑行》一诗，其中有：
晚将末契托年少，当面输心背面笑。
寄谢悠悠世上儿，不争好恶莫相疑。
这首诗中可看出虽然他在做幕僚期间确实受到了排挤，但他并不厌恶他们，而是以长者的身份奉劝他们以和为贵。尽管杜甫对同僚如此宽宏大量，同僚们对待他的态度却不曾有任何好转，这使得杜甫逐渐对同僚们心生愤怒。
杜甫在《赤霄行》中也写过屈居幕府的愤慨：
孔雀未知牛有角，渴饮寒泉逢抵触。
赤霄玄圃须往来，翠尾金花不辞辱。
江中淘河吓飞燕，衔泥却落羞华屋。
皇孙犹曾莲勺困，卫庄见贬伤其足。
老翁慎莫怪少年，葛亮《贵和》书有篇。
丈夫垂名动万年，记忆细故非高贤。
这首诗写在幕府中的不愉快光景，把幕府中的人排挤轻谩他，比喻为牛触孔雀，淘河吓燕。而杜甫由于爱惜自己的名声，犹如孔雀爱惜自己的金羽毛，不屑于与人争锋，认为与小人相争非贤人所为，也不去责怪他们，最后还是自己主动去职。
正是在这样的处境下，他产生了归隐田园的念头。再入幕府这年的立秋，天下着雨，杜甫将幕府里的公事处理完，回到宿舍休息。夜里听着雨声潇潇，江喧林响，杜甫感觉到了秋的凄清，不觉想到了自己的悲惨处境，深愧日暮途穷。又想到自己偌大年纪，当个参谋，每天早上还得花许多功夫上衙门进谒，却不能为府主想出多少良策来助其成功，心里感到有负知己厚望。还想主将将来定要入朝为相的，自己仍旧要回老地方隐居，心里不觉越来越感觉前途黯淡凄凉。
又是一个清秋的夜晚，杜甫独自住在江城的幕府中，蜡烛点残了，井栏边的梧桐阴暗森森，深夜里的画角声听起来格外的悲凉。杜甫独自一人在这方小院里徘徊，并自言自语，当空的月色是如此的美好，可是整个幕府中却没有一个人陪他来看。杜甫望着月亮，感觉非常凄凉孤独，想着战乱连绵的家乡的音信早已断绝了，关塞萧条旅行可真难，要回到故乡真不容易啊！自从安史之乱起这十年，多少苦难都承受了。勉强当个幕僚，不过是想暂借一枝来栖身罢了。杜甫于是写下了名作《宿府》一诗：
清秋幕府井梧寒，独宿江城蜡炬残。
永夜角声悲自语，中天月色好谁看？
风尘荏苒音书绝，关塞萧条行路难。
已忍伶俜十年事，强移栖息一枝安。
这首诗写出了诗人在安史之乱后这十年来的苦闷与形影自怜，从中也可见杜甫在严武幕府中内心的隐痛。这种幕僚生活并非杜甫所向往的，只不过出于友情和生活的需要而暂时寄居于此罢了。“束缚酬知己”，这是杜甫内心的真实表白，可见杜甫在幕府中并没有得到严武的重用，只不过把他当作一个文化的点缀品而已，好为自己捞得亲近文化人的美名。中天月色好，却无人欣赏，也就是在感叹自己的怀才不遇了，做幕僚与他的兼济天下的鸿鹄之志相距甚远。所以，杜甫最后离开幕府是必然的事情了。
杜甫前不久因严武重来镇蜀所产生的热情和希望衰减了，淡漠了。不久，他为了解闷，也为了探家，请假回了一次草堂。他看到他的庄稼没有人管，到处都长满了灌木乱草，再次享受到他田园生活的美好，想到幕府生活的拘束与艰难，不觉更加有了辞归草堂的念头，只是因为没有报答严武的知遇之恩，所以不好轻易说出口。在草堂和幕府两种极不相同的生活中间，也就是在从事农田耕作和与幕僚相周旋的中间，他的心情充满了悲愤。
就在杜甫在家享受难得的自由时光的同时，得知老友苏源明和郑虔去世的噩耗，不久又知高适去世，杜甫内心很是悲伤。朋友凋零，物是人非，这些曾经共患乱的朋友一个个都走了。杜甫因老友的死一下子苍老了很多，继续在幕府里与那些官员周旋下去的心思也没有了。
就在第二年的暮春，杜甫托病辞归草堂，而严武也紧接着在这年的四月去世了。
杜甫之所以决定辞归草堂，除了在政治上对严武感到失望之外，还因为杜甫不愿意丧失自己高贵的人格尊严。尽管进入幕府是一条比较好的求生之路，但毕竟要在严武的管辖之下，与旧日的朋友在尊严上不是处于平等的地位，另外也因为政见等饱受同僚的攻击而使尊严受到了伤害，这使杜甫感觉到人格上受到了某种亵渎。
杜甫为人朴讷，拙外而慧中，内心世界极为丰富，有一大片锦绣且澄明的天地。杜甫的心灵极为敏感，自尊心极强，他懒于在小人之间周旋，感觉此举有损于他的谦谦君子的风范，最后不得不出走。因此，他的出走幕府也反映了他对待小人的态度：疏而远之。其谦谦君子的自重之风范令人敬佩。他最终走出幕府，正是不愿摧眉折腰事权贵的品格和崇尚自然、追求独立不羁的真人胸怀的展示。杜甫活得很认真很坦白，也很累。他曾在幕府或是干谒中说过一些违心之言，因此自疚自责不已，这正说明了他的认真的生活态度。“实迷途其未远，觉今是而昨非”（《陶渊明，《归去来兮辞》）。杜甫可贵之处在于，他总是能战胜困惑，在独立与依附之间作出理智的选择。