在罗贯中的《三国演义》中，张飞是“身长八尺，豹头环眼，燕颔虎须，声若巨雷，势如奔马”，长得就是五大三粗的，加上性如烈火，比较容易冲动，虽然也有粗中有细的时候，但给读者的总体印象是个勇猛有余而头脑不足的莽汉。正史上的张飞和小说中的描述基本上区别不大。《三国演义》中提到的大闹长坂桥、义释严颜、大败张郃这些耳熟能详的故事，在陈寿的《三国志·张飞传》中也的确记述过。陈寿给张飞的评价是：“关羽、张飞皆称万人之敌，为世虎臣。羽报效曹公，飞义释严颜，并有国士之风。然羽刚而自矜，飞暴而无恩，以短取败，理数之常也。”
不过，通过其他的一些资料，我们可以发现，这位被后世公认的一介武夫其实并不像正史和小说中说的那么卤莽，他很有书生气，称得上是个文人，书画方面都很有才华，应该是个文武双全的人物。
邓拓《燕山夜话》有一篇《由张飞的书画谈起》，说相传张飞擅长书法，还会画画，北京出版社印行的一本《标准习字帖》的《编后》，就把张飞作为武将中的书法家。邓拓找了很多材料说明这一问题。比如，南北朝时代梁陶宏景的《刀剑录》说张飞初拜新亭侯，命匠人炼赤朱山铁为一刀，刀上铭刻“新亭侯蜀大将也”几个字，有人说，这《新亭侯刀铭》就是张飞自己写的。还有，明代有一部《丹铅总录》，说涪陵有张飞刁斗铭，文字极工，是张飞自撰自写的。可惜这些物证已殁，无可稽考。不过现存光绪年间一个拓本，为《张飞立马铭》，铭曰：“汉将军飞，率精卒万人，大破贼首张郃于八濛，立马勒铭。”相传张飞打了胜仗之后，乘着酒兴，用丈八蛇矛在崖壁上穿凿而成，其字为隶书，笔力十分雄健，今川东渠县尚存摩崖，虽千年风雨剥蚀，字迹依稀可辨。对于此事，清纪晓岚有诗赞曰：“哪知榻本摩崖字，车骑将军手自书。”
张飞不仅字写得好，而且还善画画，明代卓尔昌编《画髓元诠》说张飞“喜画美人，善草书”。清代《历代画征录》亦有记载：“张飞，涿州人，善画美人。”如今涿州人说涿州鼓楼北墙上的《女娲补天图》是张飞所画，张飞故里附近房树村万佛阁的壁画，据说也出自张飞笔下。还可以找到一些材料说明这一点。比如，元代吴镇有一首题为《张益德祠》的诗便写道：“关侯讽左氏，车骑更工书。文武趣虽别，古人尝有余。横矛思腕力，繇像恐难如。”车骑便是张飞，他于章武元年（221年）拜车骑将军。照吴镇的说法，张飞的书法很有造诣，连三国时著名书法家——魏的钟繇、吴的皇像恐怕也比不上。
如此看来，历史上的张飞虽然骁勇威猛，却不一定粗率横莽，至少，他应该有一些文士的素养和气质。可为什么会出现最后的这个莽张飞呢？这个问题大概与三国后的民间艺人有关系。陈寿《三国志·张飞传》中记载，张飞在长坂桥前一声怒吼：“身是张益德也，可来共决死！”吓得曹兵“敌皆无敢近者”，这种举动可能让民间艺人们觉得张飞在长坂桥的那种舍我其谁的英雄气概近乎疯狂，非智者不能为而惟莽汉为之也，加上《三国志·张飞传》中说张飞“暴而无恩”，说明张飞的言行是比较粗暴的，这也让民间艺人们认为张飞更像一位莽汉，于是在他们的民间传说创作中便特意进行塑造和渲染，才会把张飞的形象逐渐过渡到小说中的样子。幸好后来罗贯中的出现才使得张飞的形象得到完美的处理，虽然张飞在《三国演义》中还是莽汉一个，但是粗中有细，性格鲜明而又合情合理。