在皇觉寺里，这种不舒心的日子，朱元璋也没能过上多久，严重的灾荒也波及到了寺庙，无人再向庙里布施了，年成不好，佃户交不上租。主持和方丈无法支撑寺中一二十号僧人如此“坐吃山空”的局面，于是下令遣散，说年头好时，再回来修行。刚人皇觉寺仅50天的元龙也被赶出了皇觉寺，拿着木鱼瓦钵，云游四方化缘去了。
朱元璋离开皇觉寺，随心所欲，云游四方，只要听说哪里的饭好要，他就往哪里去。爱走多远就走多远，爱走多久就走多久，却也无牵无挂，他打听到南边和西边一带灾情轻，年景较好，于是就一直往西往南走去。他先到合肥（今安徽合肥），再折向西，到固始（今河南固始）、信阳（今河南信阳），又往北到汝州（今河南临汝），陈州（今河南淮阳），东经鹿邑（今河南鹿邑），毫州（今安徽毫县）到颍州（今安徽阜阳）。
朱元璋足迹遍及淮西一带的名邑大都，他历经安徽、河南的高山峻岭，一路上翻山越岭，风餐露宿，历尽千辛万苦，他想，这一带的有钱人家平时做尽坏事，又担心死后下十八层地狱，总想找个机会“弥补”自己的过失，多做些“善事”，求佛祖保佑，来世还能过衣食不愁的日子，千万别做牛马，吃苦受罪。这样，他们对和尚就会比较客气一点，几文钱，一勺米，还是舍得给的。所以朱元璋总会在大户人家门前多敲上一阵木鱼，高喊几句佛号，再耐心地多等一会儿，他总会有所收获，遇到人烟稀少的地方，或者饿上一二天，或者挖点野菜充饥，这也是常事。白天走乡串村，晚上就找个破庙栖身，山栖野宿，受尽了风霜之苦，几年的流浪生活，他受尽了冷落和嘲笑，饱尝了人间的辛酸苦辣。
传说，朱元璋在飘泊的日子里，路过一个叫剩柴村的地方。已经两天没有吃东西了，肚子饿得难受，可四周一户人家也没有。绝望中发现不远的地方有个园子，一片断壁残垣及被火烧过的残树枯枝，很是失望；抬头远望，发现园子的东北角有棵柿子树，树上还有被霜打过的柿子，朱元璋一连吃了10多个，总算饱餐了一顿。
后来朱元璋率兵渡长江攻采石、太平，又经过此地，并且又发现了那棵柿子树，心有所触，指着那棵树对左右讲述了那段不堪回首的往事。然后特将自己身上的一件红袍披在树上，说：“封你为凌霜侯。”
艰苦的三年流浪生活中，朱元璋经历了他一生中最悲惨的苦难，在化缘的日子里，他常常脱掉袈裟，为人家劈柴挑水，换得一单半棉，三升二斗。一天，他走过定远县界，到了庐州地面，从旁边的岔道上来了两个道士，相互问候之后，才知道原来都是云游无根之人，于是便一同上路，歇在了村边的土地庙里，躺下不久，朱元璋便觉得忽冷忽热，浑身滚烫，接着便说起了胡话。幸亏两个道士仗义相救，一晚上精心的照顾他，弄了柴草烤暖屋子，用庙里的铜香炉烧了口热水，还把自己身上的外衣脱下来给他盖上。第二天，他们分头去布斋哀求，一些好心的老人送了些姜汤和热水给他们，还煎了葱白芦根，才使朱元璋转危为安，之后，他们又扶着朱元璋前行，在一座寺庙里安顿下来，最后终于使他度过了这场灾厄。
在他离寺的第二年春天，朱元璋来到巢湖岸边。沿岸有许多以船为家的渔民，性情爽直傈悍，朱元璋很快交结了些青年朋友。他随他们扬帆远航，学划桨，学撒网，学用鱼叉叉鱼。还一起练习拳棒。
后来，朱元璋来到了庐州府的六安州，他见一个穿着长衫儒者模样的老人，身上背着一个箱子，走起路来特别的吃力朱元璋上前卸下老人背上的箱子，帮他背了起来。走了好久俩人走到碌砂镇，在一棵大槐树下休息。老人看着面前这个好心的年轻人，见他宽宽的前额向前隆起，长长的下巴明显上翘，垂鼻方孔，眼睛大而有神，脸像一个银元宝，又有峰峦叠起之概。在普通人眼里，这不是一个英俊的面容，但在相书上，却是龙风之姿，富贵之相。他又问朱元璋的生辰八字，听后肃然说道：“在我眼睛里看过的人多了，相和命都无法与你相比。你要善自珍重。”朱元璋脸上掠过一丝苦笑。老人还告诉他，此行，利往西北，不利东南，朱元璋便乖乖地听从，甘愿借这位江湖术士的吉言。
在他的化缘途中，看到各地百姓非常困苦，到处是衣衫褴楼，到处是面如土色，春逐野菜，秋食草根，稍遇凶荒，到处都是流民。朱元璋发现，从巢湖边的庐州、六安到河南的汝宁府，一路上，除去各大小寺院虔诚的善男信女外，老百姓普遍信仰白莲教。
白莲教是佛教的一个宗派，创始人是吴郡昆山（今江苏省昆山县）的茅子元。他19岁在延祥寺落发修行，修行观禅法。南宋高宗绍兴初年的一天，他于掸定中听到乌鸦叫声，恍然有悟，即口诵偈言：“二十余年纸上寻，寻来寻去转沉吟，忽然听得慈鸦叫，始信从前错用心。”几年后，他便在昆山淀山湖建白莲堂，自称白莲导师，坐受同修净业的诸男女弟子的跪拜。孝宗时候，作为太上皇的宋高宗，曾召茅子元到京城德寿殿演说净土法门，赐号白莲导师，慈宗照主，自此白莲教宗风大振。
白莲教不仅是一个组织严密的宗教教团，它还把广大贫苦农民聚集起来，成为发动农民起义的一种组织形式，朱元璋与白莲教的门弟相接触，感受到他们对佛的深信不疑，他接受了白莲教义和反元的宣传教育。
几年如蓬逐风般飘泊的生活，使他熟悉了自己走过的山川地理、风土人情，开阔了眼界，丰富了知识，艰苦的生活铸就了他坚强勇敢、坚韧不拔的精神，也练就了他健强的体魄，但恶劣的环境也使他的性格变的猜忌、好斗、残忍。