李白起初被唐肃宗判处了死刑，幸得郭子仪、崔涣、宋若思解救和他自己坚持不懈地上书鸣冤，才未落得因附逆而被杀的下场，然而却也未逃脱肃宗的残酷惩罚。肃宗在收复长安后，坐稳了自己的宝座，第二年就开始彻底地清算永王事件，把李白流放到夜郎一带去。
李白因永王李璘事件身陷囹圄之后，世人对他的态度来了一个彻底的大变化。李白由原先大名鼎鼎的文化名人，名满天下、家喻户晓的诗仙，一下子成了叛臣贼子。人们对他鄙夷不屑，避之惟恐不及。一些愚妄的人们更是不辨是非，对他肆意地加以攻击，落井下石，“世人皆欲杀”的呼声一片。就在这生与死、荣与辱的变故之间，李白彻底感受到了人间的冷暖炎凉，他的骄傲与尊严受到了严重的创伤，这使他晚年的心态发生了巨大的变化。
李白在还未踏上流放之途时，听说高适做了淮南节度使，又听说永王的大将季广琛受到高适的招抚，率众来归，不但没有定罪，反而升了官。李白就想那季广琛身为大将，手握重兵，而且实际参加了内战，尚且无罪；自己到永王幕中为时不过一月，既无一官半职，又无一兵一卒，算得什么‘附逆作乱’？既能招抚季广琛，想必能给自己以援手。犹豫了半天，最后他写了一首诗《送张秀才谒高中丞》。诗的最后写道：
高公镇淮海，谈笑却妖氛……我无燕霜感，玉石俱烧焚。但洒一行泪，临岐竟何云？
李白苦苦盼望着高适的回音，越等越失望。不久，就有高适的信件从扬州寄了来，却只有小诗一首：
恨君不是季广琛，无权无势更无兵。
一介布衣等尘土，管仲难救鲍叔卿。
原来，管仲与鲍叔牙贫富不移的交情，早已被高适抛弃了。高适为了保全自己，也不愿意拿自己的高官厚禄来救一介平民百姓。李白对高适的信件深感失望。想到自己当年与高适一起在梁宋呼鹰逐鹿的生活，那亲密的兄弟情谊是何等深刻，而现在呢，一旦沦为阶下囚，这一切就都变了。人情原来薄于纸啊！
不但高适如此，这场大劫难中，过去与他有交往的绝大多数达官贵人，对他都变得淡漠了。他的妻子宗氏拿着他写的上诉书苦苦求人，奔走于权贵之间，想方设法营救李白，也受尽冷眼。这使李白感受到了那些过去待自己友好的达官贵人们的世故，他对这些官吏们感到不满与厌恶起来，写下了《赠从弟南平太守之遥二首》，对达官贵人们进行了抨击，其中有：
当时笑我微贱者，却来请谒为交欢。
一朝谢病游江海，畴昔相知几人在？
前门长揖后门关，今日结交明日改。
爱君山岳心不移，随君云雾迷所为。
这首诗刻画出了自己在宫中受宠时人们争相交欢，而一旦自己落魄时人又避之若瘟疫的嘴脸，惟有李之遥对自己友好的态度始终如一，使人分外感激。此诗爱憎分明，对世俗的嘴脸进行了强烈的批判。这是李白在遭受残酷的政治打击后对人情世故的清醒认识，含有批判与警示的力量。
李白在看透了官吏们对自己的态度之后，深感失望，他不再把希望寄托在这些官吏们身上，接受了流放的命运。
唐肃宗乾元元年（758年）春，五十八岁的李白从浔阳出发，踏上了流放之路。
李白带着足镣手铐走向江岸。在春天的太阳下面，他的脸色越发显得苍白，他的容貌越发显得枯槁。将近一年的监狱生活，使他的腰背也显得有些佝偻了。而对达官贵人们的失望，使他的心灵更是遭受了严重的创伤。所以，此时流放中的李白，看上去比实际年龄要衰老得多。
李白来到了江岸上，却蓦然看见一大堆人站在那里。他想：“大概是迎送哪位达官贵人的吧？”可谁知当他走近时，人群自动地排成了两行，原来都是来给他送行的。人们默默地看着他，眼睛里都流淌着泪水，李白心中顿时涌起了一阵感动的潮水。啊！李白浑浊的老眼终于看清了他们的面目，原来都是他过去交往过的一群生活在社会最底层的朋友，有些李白甚至还叫不出他们的名字呢！这些人有“桃花潭水深千尺，不及汪伦送我情”的汪伦；有崇拜他，跑了三千多里地才找到他的友人魏万；有曾赠李白双鱼的小吏，还有宣城酿酒的纪老丈，还有许多相识不相识的父老弟兄们，有的甚至都从好几百里之外赶来，身上风尘仆仆的。李白动情地望着他们。他们也深情地看着李白，目送着李白上船，直到李白的船消失在天尽头，这些人仍然依依不肯离开。
李白行到江陵，正准备入三峡，这时已有杜甫的信件寄到了江陵府，等待着李白去取。李白听说杜甫有信件在路上等他，心里万分激动，这个分别快十五年的老朋友，还没有忘记他啊！
李白拆开寄来的信件，原来杜甫处境也很艰难。关中大饥，生计艰难，杜甫不得不携家到秦州投靠亲友。看完信，李白最后读到几首杜甫为他写的诗歌。
《不见》诗云：“不见李生久，佯狂真可哀！世人皆欲杀，吾意独怜才。敏捷诗千首，飘零酒一杯。匡山读书处，头白好归来！”
在世人对李白的一片喊杀声中，杜甫坚定地支援李白，赞颂并哀怜他的才能。这样的朋友实在可贵。李白深受感动。
《梦李白》二首：“死别已吞声，生别常恻恻。江南瘴疠地，逐客无消息。故人入我梦，明我长相忆。恐非平生魂，路远不可测！魂来枫林青，魂返关塞黑。君今在罗网，何以有羽翼？落月满屋梁，犹疑照颜色。水深波浪阔，无使蛟龙得！”“浮云终日行，游子久不至，三夜频梦君，情亲见君意。告归常局促，苦道来不易，江湖多风波，舟楫恐失坠。出门搔白首，若负平生志。冠盖满京华，斯人独憔悴。孰云网恢恢，将老身反累！千秋万岁名，寂寞身后事！”
这简直就像挽歌了，对他的哀伤与牵挂之情是如此之深，实在令李白大受感动。李白读着诗歌，泪水禁不住纵横而下，在他最失落最痛苦的时候，他深切地感受到了来自杜甫的巨大精神安慰。
李白一生几起沉浮，从一介平民之子到平交王侯，登入龙庭成为皇帝的宠臣，贵不可言。然而转眼间烟消云散，又被逐出宫廷，重新沦为平头百姓，直到遭遇永王之祸身陷囹圄，被流放夜郎，这样的大起大落，富有戏剧性的变化人生，让李白深刻地看到了世人的面目，透彻地领悟到了人间的人情冷暖。所以晚年的李白，在精神上更加陷入了无尽的痛苦，他不再周旋于权贵之间，而是把交往的对象放在下层百姓身上。这对于他最后走向人民，走向民间，是至为重要的。