数次以诗文干谒失败，使李白心灰意冷，于是在从政与学道两条道路之间徘徊。干谒失败了，他只好重新隐居在安陆附近的山里，让人上山采矿石，学炼丹，学道术，求仙访道，炼丹服药，云游四海，过与世无争、脱离社会体制的退隐生活。这实在是出于一种无奈，但没料到他的这种隐居生活也有人反对，使他不得安生。
远在扬州的孟少府不知究里，对李白的状况很是不满。他当初推荐李白来安州，是希望李白能飞黄腾达，好使自己也有举荐之荣光的，可是现在李白却是一副落水狗的样子，这让孟少府感到很失望，于是他写信给安陆的官吏，说安陆的官吏不应该让李白隐居山林。还特地写了一封信给李白，信中对李白也含着责备，并希望他早日得个一官半职，既不辜负许老员外殷切的期望，也不枉他孟少府介绍一场。
孟少府这封指责的信件激起了轩然大波。
不但孟少府批评李白不该在安陆附近的云梦泽隐居，后来安陆的地方官吏，再后来外地的官吏，也都干涉起李白来了，对李白的隐居形成了一致的讨伐声势。这使得安陆的地方官府承受了巨大压力，也使李白面临着巨大的压力。
原来，要做隐士也并不是那么容易的。在玄宗时代，隐士也是一门走俏的职业，它是走向成名的一条快速通道。既然如此，那就不是人人都能做隐士的了，因为并不是人人都能成名。要想做隐士，得有做隐士的背景，否则就会遭到官员和民间势力的一致反对。李白原来在四川时，与赵蕤一起做了几年的隐士，但那是四川，山高皇帝远，而且他那时还是个小青年，无人来找李白的茬，而且赵蕤是一个著名的学者，名望高，没有人来打搅他们。但现在是在离东都并不遥远的安陆，官员们对隐士的关注就要比四川严密得多。所以李白这样一个没有多少背景的西域胡人长期隐居在安陆，就会有人来找他的麻烦。
另外，当时正处在开元盛世的繁荣时期，国家政治还算清明，唐玄宗好大喜功，不喜欢人们去做隐士。所谓“盛世无隐者”，隐居就是对他们的统治表示不满，所以统治者自然要大加干涉，想方设法杜绝这种现象在他们治下发生。李白因为诗歌上的名声渐涨，人们自然更加关注他的去向，他受到巨大的压力与挑战是很自然的了。
然而，就在全国官吏对李白的一致声讨声时，李白并没有畏缩，而是勇敢面对挑战，积极应对，正好借着扬州孟少府写文书给安陆官吏一事，就题而发，代安陆的官吏写了一篇《代寿山答孟少府移文书》。书信中他充分表达了自己学道与从政的理想，书信的最后说：
申管晏之谈，谋帝王之术，奋其智能，愿为辅弼。使寰区大定，海县清一，事君之道成，荣亲之义毕，然后与陶朱留侯，浮五湖，戏沧洲，不足为难矣。
李白借安陆官吏的嘴，把自己的平生之志和暂时隐居山中的原因表白了一番。他以奔放的激情表达了搏击风云，翼申所能的抱负和济苍生、安社稷的理想。他要当一名宰相，把天下治理得太平，功成身退，学张良和范蠡。这种比较成熟的政治理想与愿望，是在他壮年时期形成的。李白的这番话，表明了他这一个时期理想主义、反抗精神和英雄性格得到了全面的成熟。
李白在与官僚们相周旋的过程中，由于受到玩弄与欺骗，他逐渐对官僚们感到失望。在逐渐看清了他们的真面目后，他不得以只有出外，去拜会当时有名的隐士，以求得在道学上新的进展。
李白早年游历江陵，见到当时有名的隐士司马承祯。此人一见李白，就连连惊呼他有“仙风道骨”，这不啻是对他学仙的一种最大鼓励。李白作了《大鹏赋》，用寓言形式记叙这次会晤。此赋通过“激三千以崛起，向九万而迅征”的大鹏形象，抒写了他远大的抱负。他以大鹏自居，把司马承祯比作希有鸟，表示他们要共同超然于物外，实现道家的理想。
随后，李白又认识了道教中的另一个著名人物胡紫阳，此人在道家中的辈份，相当于司马承祯的弟子，在随州有餐霞楼，李白的好友元丹丘即学道于此，为胡紫阳的弟子。李白常到这里来与他们谈玄论道。胡紫阳作为道学大家，理论精深，但李白并不觉得深奥难懂，相反，他的理论李白能听懂十之八九。他与胡紫阳可以堪称是“神交”，常常在餐霞楼上学仙论道，有时胡紫阳邀请李白一起吹玉笙，于是餐霞楼上仙乐飘飘，鸾凤齐鸣似的，像在仙境中一般。在餐霞楼上，他们还发誓要一起游历天下，遍访名山，老于云海，志不可夺。可见当时李白在学道上的决心之大。
尽管李白与胡紫阳、元丹丘一班人求仙学道，却还是不能忘怀于世事。在学道时，他还时刻等待着从政的机会，这是他与纯粹道徒之间的区别。他还是在学道与入世的痛苦中徘徊。
李白还与元丹丘在嵩山学道，元丹丘也是一个著名的隐者。高山之峰，远离尘俗，月夜孤魂，清幽雅致，能承天地日月之灵气，是很好的修道之所。李白就在这样的地方与元丹丘共同隐居，彼此亲密无间，同衾而眠。而且他们还一同渡过颍水，访问隐士。他在《题元丹丘颍阳山居》中，有“仙游渡颍水，访隐同元君。忽遗苍生望，独与洪崖群”。这是与元丹丘共同访问隐士的仙游生活。这里他们仿佛达到了道家的高邈境界，遗忘了天下苍生，与群崖达到了物我同为一体的境界。可见他们这种修道生活在身心上的高度惬意与自由。他们同受自然的沐浴与熏陶，心灵更加高洁、淳朴而美好。
李白学道的同时，尽管还身怀出仕的愿望，学道还是学得很成功的，特别是他跟随这些道家的著名人物学道术，对他影响极大。他全身心地投入到修道之中，对道术的领悟深刻，达到了一个全新的境界，而且，容颜也愈来愈达到了道家所追求的境界。如有“仙风道骨”“眸子炯然，哆如饿虎”“双眸光照人”等，以至一到长安，贺知章老人惊呼他为“谪仙人”，都与潜心修道是有重大关系的。
不仅如此，学道还对李白的心灵、性格、人格、生死观、诗歌等产生了重要的影响。学道使李白向往心灵的自由，向往求仙归隐之清净无为的生活，在性格上豁达豪放，不拘于俗，最终达到神仙式自由超然的境界。并且使李白摆脱了世间尔虞我诈的现实的约束，身心都得到放松，使他饱受压抑的心灵获得一丝自由，使痛苦的精神暂时得到某种喘息。
李白那种豪放豁达、无拘无束、自然天成的诗歌风格，无疑也是受到了求仙学道生活的影响。李白在道家“清净无为”思想的影响下，诗歌创作闪耀着一种真情、真性、真美，有一种奇伟瑰丽的艺术性。他狂傲不拘、飘逸洒脱的气质也来源于这样的心灵基础，例如李白的庐山诗作，最多的是道家思想。笃信道教精神的李白，看山观水有特具的道家本色与个性，他的大量描山绘水的诗作必然着以浓厚的道家色彩。“五岳寻仙不辞远，一生好入名山游”“闲窥石镜清我心，谢公行处苍苔没。早服还丹无世情，琴心三叠道初成。遥见仙人彩云里，手把芙蓉朝玉京。先期汗漫九垓上，愿接卢敖游太清”等，都表现出了浓厚的求仙学道的气息。
此外，李白诗歌广为流传，还在于它含有深刻的哲理性，也是深受道家思想影响的。他的诗歌中反映天道自然无为思想、朴素唯物主义和辩证法思想；表现出反抗腐败的现实，冲破一切人为束缚的精神，他写出了大量的反对腐朽统治，轻视尧舜，破弃礼法，指斥不合理现实，嘲笑鲁儒和追求自由的战斗诗篇，表现出了追求个性解放的思想，都是因为受到了道教的影响。
在他的仕途生涯中，多次举行了入道仪式。正因为如此，李白在不少诗作中也表现出人生如梦，及时行乐的思想。反映在他对待人生的态度上，便是消极颓废，觉得世事无常，一切皆空，致使他沉湎浪游，纵酒归隐等，这显然是受到道家消极因素的影响。
道教影响了李白一生。早期是以道家的处世态度去追求儒家的入仕理想。入宫后用道教的处世态度来对待皇帝和权臣，因而在仕途上失败，但在文学上获得空前成功。李白是在对道教虚幻的神仙世界的追求中，丰富了神奇的想象；充满了诡谲瑰丽的流动意象；养成了狂放不羁的个性，豁达生死的人生态度，形成了奔涌狂放而又奇绝瑰丽的艺术风格。