《历代名画记》是我国第一部系统、完整的关于绘画艺术的通史。在这部书出现以前，后魏孙畅之有《述画记》，梁武帝、齐谢赫、陈姚最、隋沙门彦悰、唐李嗣真、刘整、顾况都有过画评，裴孝源有《贞观公私画录》，窦蒙有《画拾遗录》，这些书大都保存到现在，但张彦远认为“率皆浅薄漏略，不越数纸”。
这本书编入了极为丰富的绘画史料，其资料来源除前代绘画史籍外，还包括大量的史书﹑小说杂著﹑文集。史书如《世本》《续晋阳秋》《后魏书》等﹔小说杂著如《说苑》《两京杂记》《续齐谐记》等﹔文集如《王廙集》《谢庄集》等﹔绘画史籍如孙畅之《述画记》﹑彦悰《后画录》、顾况《画评》﹑窦蒙《画拾遗录》等。虽系摘录﹑引用，但在不少原书已经散佚的情况下，该书不仅为后人提供了汇集整理前人史料的范例，也保存了许多重要的绘画史料。
在绘画理论上，该书既承继了前人的认识，有所阐述发挥，如“论画六法”，又总结了新的经验，探讨了新的问题，如提出绘画的功能不仅是用以“鉴戒贤愚”，而且还用以“怡悦情性”，指出“书画用笔同法”﹔提倡“自然”，以“自然﹑神、妙﹑精﹑谨细”等来排列画艺高低的品第。所有这些，都比较集中地反映了唐代中后期绘画理论的新发展。
张彦远在编写完画家传记之后，对于绘画的历史发展及古今发展趋势，基本上已经具备了完整而系统的理解，并为专业的品评鉴赏工作打下了坚实的基础，其《历代名画记》除了反映史实之外，事实上也具有阐明画理以“喻世”的作用，也完成了他“探于史传”“用明所业”的著述意图。在资料搜集方面，全面收集，组织筛选，作者更是严谨可嘉，对画家画史的评论深入客观，在检验前人评说基础上，考核史实，进行历史性的回顾，并得出结论。从理论到实际，从个别到全体，张彦远不遗余力地辨析问题，解释原理，建立新体系，得出更加合理的绘画理论品评标准。
张彦远以忧国忧民的知识分子立场来撰述《历代名画记》。他的写作态度完全由社会责任感出发，这也是《历代名画记》作为一部通史著作的主要意义。然而，《历代名画记》一书的重要性不仅在于张氏个人社会责任的自我实践，同样不可忽视的是，本书也反映了当时士人的情感，是中晚唐士人在理想现实与世俗价值观的冲突中，寻求精神寄托，以传后世，达到文人士人自我认同的目的。这种深层次意识使得《历代名画记》一书兼具了“外在”及“内在”的双重生命意义。图绘自古以来具有严肃的政教意义，贤人志士喜爱图画，统治者需要图画，可以从侧面说明图画具有一定的社会功能。中唐时期，图画与士人的关系有了进一步的发展。从当时士人题咏书画的诗文中来看，图画已不完全是前代咏物诗中的被动对象，在形式内涵上具有了更加丰富的面貌，具备了更强的说服性和感染力，士人在图画中不仅见到人世兴衰，体验画者的思想情感，借画叙事，也将图画与人生相关联，寓意深刻，建立新的审美理想，使得图画成为士人阶层不可割舍的一部分。中晚唐士人对图画本质、作用的深入探索及定义的扩大，经过数百年唐文化的洗礼，到唐末有了更具体的面貌，这种士人阶层的绘画观便在《历代名画记》中体现出来。张氏从儒家社会价值观出发，从历史的视角回溯图画的意义，强调图画的实用性及对社会、国家、个人的作用，其动机也与中晚唐的特殊政治环境密切相关，代表知识阶层从艺术角度剖析历史演变，也反映了当时通史作者“参古今之宜，穷始终之要”的看法。随着中晚唐士人政治命运及人生境遇的转变，文人士人改造现实的希望破灭，与现实社会的关系日益疏远，于是寄情于自然山水，体悟宇宙永恒玄妙，也推动了文人山水画的发展。张氏“士人绘画观”的内容，显示出中晚唐士人群体与绘画的关系日渐成熟，这种受历史因素影响变化的趋势，与士人精神相结合，使得“士人绘画观”有着与众不同的文化内涵，士人在画中寄托心境，传达精神理念的特征，为画评工作提供了更深层次的文化背景，不单纯对绘画理论，更对绘画本质、内涵和创作背景等深入研究。晚唐带有哲学思维性质的“士人绘画观”的成形，实际上打破了统治阶级对艺术的垄断，使得士人绘画艺术走向更广阔的领域。
《历代名画记》开创了编写绘画通史的完备体例。作者运用丰富资料，从当时的理论认识水平探讨绘画史的发展和内在联系，并以系统的绘画史料来支持自己的理论认识。全书用大量的篇幅阐述绘画史和某些画种的发展演进，讨论重大的理论问题。传记部分比较全面地汇集画家生平、思想、创作等有关资料，充分引证古人的评价，但又不受前人的局限，做到有分寸地评价画家的得失。此外，作者更能从绘画创作欣赏的全过程着眼，把著录、鉴藏、流传以至装裱也纳入研究画史的必要组成部分，对于中国画史的研究提出了完整的体系。张彦远的《历代名画记》在文体上主要采用相对松散的“记”类体裁，并且借鉴了史学著作及同类著作的写法，由此形成了《历代名画记》独特的创作方式。后世同类著作多效仿于此，但没有一位堪称张彦远真正的继承人。在古代源远流长的“文化地图”中，《历代名画记》的坐标系并不单单处于史学理论中，也存在于技艺书丛中。在世界美术史学的著作中，同样占据着重要的地位。张彦远在肯定谢赫等人关于绘画具有道德和政治的功能以外，更重视绘画本身的意义。张彦远强调绘画需要天才，反对呆板的死画，他强调绘画技巧的根本在于立意和用笔。他还强调绘画艺术的文化品味，特别看重画家的人格，他最早提出绘画是有教养、有学问、有独立人格的读书人的事业。张彦远在中国古代理论上所取得的成就是历史性的，从他较早研究分析美术作品来看，称他是中国最早的艺术理论家、批评家也并不夸张。
《历代名画记》不仅兼具中国古代绘画文献的三种基本形式——著录、品评、史传于一身，还秉承并保存了文献史料的史学著作传统。在写作内容上，它不仅未局限于评述绘画作品和画家，还涉及绘画材料、书画市场、收藏保管印章押署等方面。在总结了前人有关画史和画论的研究成果的基础上，继承发展了史与论相结合的传统，开创了编写绘画通史的完备体例。作者尽可能占有丰富资料，从当时达到的理论认识水平探讨绘画史的发展过程及其内在联系，并以系统的绘画史实来支持其理论认识。全书以大量的篇幅阐述绘画史及某些画科史的发展演进，讨论重大的理论问题。传记部分则分等列传，在寓褒贬﹑明高下的同时，较全面地汇集画家生平﹑思想﹑创作等有关资料，充分引证前人的评价，又不为前人所局限，做到有分寸地评价画家的得失。此外，作者更能从绘画创作欣赏的全过程着眼，把著录、鉴藏﹑流传﹑名价以至装裱也纳入了研究画史的必要组成部分，对中国画史的研究提出了完整的体系。该书长期以来被认为是中国第一部系统完整的绘画通史，亦具有当时绘画“百科全书”的性质，在中国绘画史学的发展中，具有无可比拟的承前启后的里程碑意义。