51岁的韩愈，急匆匆赶向潮州。但行至陕西的蓝田关时，大雪纷飞，车马受阻，韩愈的心情也恶化到了极点，就在这时，他的侄孙韩湘，也就是韩愈的侄子韩老成的儿子，后来传说中的“八仙”之一赶到了，愿陪着他一块走，于是韩愈写了那首著名的《左迁至蓝关示侄孙湘》：
一封朝奏九重天，夕贬潮州路八千。
欲为圣明除弊事，肯将衰朽惜残年。
云横秦岭家何在，雪拥蓝关马不前。
知汝远来应有意，好收吾骨瘴江边。
这一首诗写得悲凉、沉痛，可见这次“不平”的代价极为惨痛。
尽管韩愈这次遭到贬谪，已经是体弱多病的老年，又经历了途中的丧子之痛，身心俱已相当疲乏，“年才五十，发白齿落”。但是，当他到了潮州后，见到当地百姓生活的艰难情况，他很快就放弃了为自己悲哀的想法，而将全身心投入到为百姓谋福祉这件事情上来。
就气候水土而言，潮州的自然条件不坏，但由于地处偏僻，文化落后，弊政陋习极多极重。农耕方式原始，乡村学校不兴。当时唐律明确规定了不准没良为奴，但这里却还在进行人口买卖，有钱人养奴成风。“岭南以口为货，其荒阻处，父子相缚为奴。”其习俗又多崇鬼神，有病不求药，杀鸡杀狗，求神显灵。见此情景，韩愈大吃一惊，比之于北方的先进文明，这里简直就是茹毛饮血，同为大唐圣土，同为大唐子民，何忍遗此一隅，视而不救呢？
按照当时的规矩，贬臣如罪人服刑，老老实实磨时间，等机会便是，决不应主动参政，多管闲事。但韩愈还是忍不住，他觉得自己应该完全抛开自己的不幸，以自己的知识、能力全身心地为百姓做点事。
于是，他到任之后，连续干了四件事。一是驱除鳄鱼。当地鳄鱼为害甚烈，人又迷信，只知投牲畜以祭，韩愈“选材技吏民，操强弓毒矢”，大除其害。二是兴修水利，推广北方先进的耕作技术。三是赎放奴婢。他下令奴婢可以工钱抵债，钱债相抵就给人自由，不抵者可用钱赎，以后不得蓄奴。四是兴办教育，请先生，建学校，甚至还“以正音为潮人语”，用今天的话说就是推广普通话。
韩愈在潮州，仅约半年便调往袁州，在历代潮州地方官中，不过是来去匆匆的一个，但他在潮州人文史上的影响几乎是最大的。究其原因，主要在于兴办教育，传播文化知识。苏轼《潮州韩文公庙碑》云：“始潮人未知学，公命进士赵德为之师，自是潮之士，皆笃于文行，延及齐民，至于今，号称易治。”韩愈到袁州时，作诗《别赵子》，从诗中看，赵德似乎并非是潮州本土的人，而是当时岭南一带的隐士。有学问，又有博物爱好，欲将南海龙虾以及蚌蠃鱼鳖虫的分类特性“穷究之”，但又仍在孔子教诲的“多识于草木虫鱼”范围之内。赵德对韩愈非常敬重，曾“叙退之文章七十二篇为《文录》”。赵德有《文录序》一篇，称韩愈为“圣人之徒，其文高出，与古之遗文不相上下”。赵德视韩愈为师，以韩愈之学为依归。想来赵德既“勾当州学”，除传授生徒诗书之外，还曾将韩愈的文章作为范本向州学生徒传播。
韩愈一向是尊孔的，对孔子的许多言论和行为都表示赞同，孔子的“不以貌取人”的思想也深深地影响了他。
韩愈本是因劝皇帝不要为迎接佛骨，过分劳民伤财，被贬到潮州。相传到潮州后，有一天在街上碰见一个和尚，面貌长得十分凶恶，特别是翻出口外的两个长牙，更是使人骇怕。韩愈于是想，这家伙决非好人，回去要好好收拾他，敲掉他那对长牙。
回到衙里，才下轿，看门的人便拿来一个红包，说这是刚才有个和尚要送给老爷的。韩愈打开一看，里面非金非银，是一对长牙，正好与街上那和尚的两只长牙一模一样。他想，我想敲掉他的牙齿，并没说出来，他怎么就知道了呢？遂立即派人四处寻找那个和尚。
据《潮州府志》记载，该和尚俗姓陈，一云姓杨，名宝通，号大颠，先世为颍川人，生于开元末年，传法者千余人，自号为大颠和尚。
韩愈与和尚见面交谈后才知道，原来他就是很有名声的潮州灵山寺的大颠和尚，是个学问很深的人。韩愈在《与孟尚书书》中说：“有一老僧号大颠，颇聪明，识道理，远地无可与语者，故自山召至州郭，留十数日，实能外形骸，以理自胜，不为事物侵乱。与之语，虽不尽解，要自胸中无滞碍，以为难得，因与来往。及祭神至海上，遂造其庐，及来袁州，留衣服为别，乃人之情，非崇信其法，求福田利益也。”
韩愈自愧自己以貌看人，确实不对，忙向他赔礼道歉。这以后，两人终于成了好朋友。韩愈一生中与许多和尚有过来往，但都是和尚慕名上门，被动接见。这次主动与大颠和尚交往，对于韩愈来说是第一次。
潮州僻在边远，读书人不多，可与之交谈者更少，因此把大颠从山中召到州府，这虽然可以用人之常情来解释，但韩愈祭神时造访其庐，离潮州时又留衣服为别，意义就不同寻常了。也许韩愈确实是欣赏大颠和尚的聪明才智，抑或是对自己以貌取人的错误做法的悔过。总之，他们结成了朋友，可见韩愈对贤者的尊重和友好。