公元768年（大历三年）春天，杜甫一家离开夔州，出瞿塘峡，顺江东下江陵。
三月的一个雨天，杜甫一家到了江陵。江陵地理位置重要，沿江东下可到吴越，西可到巴蜀，北上可到襄阳、洛阳、长安，南下可到潭州（今湖南长沙）、桂林、广州，这里人口稠密，商业繁荣。
一到江陵，杜甫就投奔时任江陵行军司马的从弟杜位。安置了家人后，杜甫就在江陵拜会郑审、李之芳、徐司录、胡侍御等熟人，熟人们一个个与他见了面，请他赴宴。
杜甫想从熟人那里得到帮助，或者谋求一个差事，但没有什么结果。他身体多病，不善逢迎；耳朵又聋，与人对话，必须要写在纸上，这样的衰老头恐怕很难找到差事了。熟人们也逐渐变得冷淡起来。
杜甫一下子又陷入了困境之中。杜甫拄着拐杖拜访熟人，守门人不让进去，想乘轿子，又没有钱去雇用。
杜甫到江陵，本来是受弟弟杜观催促，要到这里会合。可是杜观并没有到江陵来，似乎两人从此就不再有联系。
杜甫的儿子屡次写信，说生活困苦，连糠菜粥都吃不上了。杜甫也无可奈何地说：“我行何到此，物理直难齐。”
（《水宿遣兴奉呈群公》）
他在《秋日荆南述体三十韵》这首长诗中，写到了他的困窘：
苦摇求食尾，常曝报恩腮。
结舌防谗柄，探肠有祸胎。
苍茫步兵哭，辗转仲宣哀。
饥藉家家米，愁征处处悲。
休为贫士叹，任受众人咍。
除了可悲的乞求、赔笑、接待、饥俄、愁苦外，似乎还有人对杜甫进行了恶毒的中伤。杜甫大有英雄末路的感慨，于是他想起了阮籍和王粲。这种状况，使杜甫无法继续在江陵待下去。
到了秋末，杜甫移居到江陵以南的公安县（今湖北公安）。途中，他写了《江汉》一诗：
江汉思归客，乾坤一腐儒。
片云天共远，永夜月同孤。
落日心犹壮，秋风病欲苏。
古来存老马，不必取长途。
杜甫在诗中写道：身处江汉，却时时想归故乡；乾坤如此广阔，一个腐儒却无法容身。像片云一般在天空飘荡，又像长夜的月亮一样孤独无依。自己已到暮年，但仍然有壮心，秋风一吹，病反倒要好了；虽然年老体衰，但老马识途，还可以有所作为。杜甫虽在困境，但是并不悲观失望，反而有一股英雄暮年的悲壮之气。
杜甫在公安住了几个月，但这里“狐狸何足道，豺虎正纵横”（《久客》），盗贼出没，连官吏都被杀害。他决定到衡州（今湖南衡阳）找青年时候的朋友韦之晋，此时自己的舅父崔玮也在那一带做官。
年底的时候，杜甫到了岳阳，登上著名的岳阳楼，举目远望，浮想联翻，写下了《登岳阳楼》：
昔闻洞庭水，今上岳阳楼。
吴楚东南坼，乾坤日夜浮。
亲朋无一字，老病有孤舟。
戎马关山北，凭轩涕泗流。
“吴楚”“乾坤”两句写了洞庭湖的壮阔浩渺，像是要把吴楚大地裂开成两半，整个宇宙好像日日夜夜都在湖面上浮动。
这两句是描写洞庭湖的名句，只有孟浩然同样写洞庭湖的诗句“气蒸云梦泽，波撼岳阳城”可以与之嫂美。
后两句说亲朋没有书信，北方还有战乱，自己在兵荒马乱中孤独飘零。全诗不仅写了洞庭湖的雄壮，而且把所望的地域推到数千里外的关山之北，观照着整个中国的南方与北方；同时把自然与社会、个人命运融合在一起，境界阔远，又含有强烈的感情力量。
一个年老的病人，竟然写出这样撼动灵魂的诗，实在令人叹服。