唐僖宗中和四年，李克用率军与黄巢领导的农民军在陈、许（今河南许昌市）一带交战。许多义军士兵投降了李克用，其中有一个姓王名贤的年轻人。他本是唐朝隰州刺史王恽的儿子，祖籍许州。他的父亲离职后返回老家定居，年幼的王贤就随父亲返回了故乡。唐僖宗乾符三年（876年），黄巢、王仙芝率领的农民军进入河南，纵横十五个州。此时王贤的父母已经病故，家道中落，年仅17岁的王贤只知玩耍，不善经营，原本不算富裕的家庭很快一贫如洗。农民军打到许州时，王贤正与一帮少年在城外游荡，来不及跑回城里，被农民军强迫裹胁而走。以后，他随农民军南征北战，渡长江，下广州，入关中，进长安，直到李克用在陈、许两地大败黄巢，他才投奔了过来。
王贤毕竟是封建官僚家庭出身，虽然家道中落，其思想意识与农民阶层有很大的不同。他对农民军的许多做法都看不惯，加上不是情愿入伍，所以在军中打仗并不卖力，至今连一个将校也没有混上。虽然如此，他仍在义军中学了不少本事，除了精通武艺之外，还学得一手摔跤的技艺。黄巢的义军出身农民的人数居多，三教九流的人物也有不少，擅长杂耍、摔跤等把戏的也大有人在。王贤小时就喜欢与人摔跤，进入义军中遇见了许多这方面的高手，真是如鱼得水，每每以与人交手为乐，尽管常被摔得鼻青脸肿，可不知不觉之中技术却越来越高，几年以后在义军中就相当有名气，很少有人能是他的对手。义军的将领看重他的摔跤技能，常令他佳节宴乐之时献艺助兴，对他打仗不肯出力的情况就不太计较了。
王贤投降李克用的时候年仅23岁，正是血气方刚、青春年壮的时刻，加上他怀有一种弃暗投明的感觉，所以行军打仗格外卖力，几个月后在李克用的军中就颇有名气。李克用听到人们的赞美声，将他召来相见，十分欣赏他的孔武有力和出色的摔跤技艺，于是将他编入了义儿军中，随侍在自己身边。景福年间，他累积战功升为义儿军副兵马使，主管义儿军，被李克用赐姓李，名存贤，字子良。
李克用的长子李存勖，对摔跤之戏兴趣较浓，常与侍从角胜为乐，众人为投其欢喜，每每相让，从不敢认真与他较量。李存勖年幼时，还当自己果真本事高强，随着年龄的长大，渐渐通晓人情世故，得知大家都是虚心谦让，便觉好生无趣，于是命令大家认真出力较胜，否则严惩不贷，众人这才打足精神与其较技。李存勖虽然挨了多次跤摔，本事却着实增加不少，周围的侍从再也无人能摔得过他。定州节度使王处直的儿子王郁也是摔跤高手，因不得父宠，逃到晋阳，与李存勖角胜为戏，李存勖从他那里又学得不少本领，进步极快，连王郁也摔他不过了。
找不到合适的对手角斗，李存勖感到烦闷难耐，便乱打侍从出气。王郁对他说：“咱们军中有个人是非常精于摔跤之戏的，小王爷为何不叫他来与你比试呢？”李存勖问是谁，王郁回答：“就是你的义兄李存贤呀，听说他从前在贼军时学得这手本事，时隔多年，技艺不减。我前日与他较技，他几下子就将我摔倒了。”李存勖饶有兴趣地问：“你与他较技，为什么不通知我一声？”王郁道：“我也是只听人说他本事极高，高到什么程度我并不知晓。我想先试探一下，若比我高明，就可以请他来与小王爷对阵，如果连我都不如，叫来也是无用，所以没有先通知小王爷。”李存勖非常高兴，当即派人去请李存贤。
不料李存贤来到后一口拒绝：“小王爷是千金之躯，我怎么能与您试？”李存勖说：“义兄，你不必过谦。咱们都是大王的儿子，没有亲疏之分的。我只想和你比试比试，看看我的摔跤功夫到底如何？免得总是被人假心假意地赞颂。”李存贤道：“我看小王爷的功夫在我们晋军中也算是顶尖高手了。我们没必要再较量。”李存勖见李存贤不肯，十分焦急，脱口说道：“你是不是看我不过是个小王子，才不肯听我的话。假如是大王要你较技，你是听还是不听！”李存贤一听，急忙单脚跪下，抱拳在胸说道：“小王爷何出此言？我对您和大王是一般的尊重与忠诚，绝无半点不同。”李存勖不高兴地说道：“既然如此，那你为何不肯听我的话？”李存贤回答道：“我怕伤了小王爷。”李存勖道：“你怎么就能肯定会打败我？这样吧，我们打一个赌。假如你能打败我，我将来就以一州做为奖赏；假如你打败了，你就永远跟在我身边做一名侍从，你以为如何？”李存贤看无法再推脱，只好答应。两人脱了上衣，袒着脊背就在宫中角斗起来。
两人脱了上衣，袒着脊背，就在宫中角斗起来。李存勖时年二十，年轻力壮、血气方刚，李存贤比他大二十四岁，虽然年龄优势不如，但经验丰富。第一场，李存勖冒险抢攻，一不留神，被李存贤摔倒，输了一局。第二场，他稳扎稳打，充分发挥年轻力壮的优势，与李存贤相持良久，终于将他摔倒，赢了第二场。第三场，李存贤以退为攻，引李存勖上当，乘其进攻时下盘不稳，伸脚一勾，复又将他摔倒。三场比赛输了两场，李存勖只好自认不敌，他对李存贤说：“真没想到义兄的技术这么高明，小弟今后一定要向你多加学习。”李存贤谦虚一番，抱拳而别。
天五年（907年），李克用因病去世，李存勖继位做了晋王。他想起四年前对李存贤的许诺，就委任他做为蔚州（今河北蔚县）刺史。一年以后，又转为沁州（今山西省南部）刺史。沁州地处河东南部，与汴梁隔河接壤，汴军每次进攻河东，总要先进攻沁州。为了保住这个重要的战略要地，历届刺史都是在州南五十里处的一个险要地点设置营栅做为治所，而沁州城池遭废弃多年，早已破败不堪，长满了荆棘。李存贤来到沁州后，将治所从州南搬回沁州，号召军民铲除荆棘，修复屋舍，十日之内，沁州城池焕然一新。逃亡的百姓听说老家来了位励精图治的新长官，也都纷纷返回家园。李存勖听说后，十分赞赏，加封他为检校司空，正式拜为沁州刺史。天九年，汴军兴师来攻，被李存贤打退。
天十一年，李存贤又被授予武州刺史、山北团练使之职。十二年，移任慈州刺史。这年七月，汴将尹皓率军进攻州城，李存贤亲率晋军登城防守。汴军采用数十种方法进攻，都被李存贤打退。一个月后，尹皓见无机可乘，遂带军退走。
天十七年，汴梁的河中节度使朱友谦与梁末帝朱友贞发生了矛盾，愤而投靠了李存勖。汴末帝派刘率军进攻河中的同州，朱友谦抵挡不住，向晋求援。李存勖派大将李存审前往增援，将刘打败。天十九年，梁主乘李存勖亲统晋军主力征讨镇州，又派段凝进攻河中。李存勖无暇南顾，只好派李存贤前往救援。当时汴军大将段凝统率的军队共有五万，驻扎于临晋（今山西西南部），李存贤率领的晋军只有一万，实在是寡不敌众。河中军民大为恐慌，有一半的人都想投降汴军，有的人甚至想活捉李存贤做为礼物送给段凝。河中一些将领与李存贤私人关系很好，不大忍心看他遭人暗算，就向他通风报信，劝他率军赶快逃走。李存贤大义凛然地说：“我奉命救援河中，岂能爱惜自己的生命而置王事于不顾呢？你们愿意随我抵抗，我自会想办法杀败汴军；若是不愿意随我抵抗，大可取下我的头颅去献给段凝。死于王事，是我们为人臣子的忠义之道。我决不会率军逃走！”众人被他的气节所感动，纷纷表示愿追随他一同抵抗梁军。在这些河中将士的坚持下，河中终于没有投降汴军。事后，李存贤因功加检校司徒。
同光元年（923年），李存勖即位做了皇帝，是为唐庄宗。他大封功臣，授李存贤做了右武卫将军一职。同年十一月，奉命来到京城洛阳朝拜，便留在朝中。第二年三月，幽州节度使李存审病重，上表请求入朝晋见皇上，并请另择良将代替自己。他的表章到达洛阳时，庄宗正在宫内设宴招待众臣，览表流泪道：“当年随我父子披荆斩棘的故人已经凋零殆尽，所剩者不过数人耳。如今存审又重病不起，北边的事情要靠谁来管理呢？”他环顾四周，看到了李存贤，便对他说：“没有谁比卿更适合的了！”李存贤赶快推辞：“臣已老迈，恐怕有辱使命，请陛下还是另择贤人吧！”唐庄宗道：“卿虽年迈，可精神不减当年。朕信任你，你就不能为朕分忧解愁吗？”李存贤见庄宗如此说话，只好跪地谢恩。
同年五月，李存贤来到幽州。当时北方契丹十分强大，经常侵扰我北部边境，幽州城外，烽火不绝，警报颇传，一日数战。李存贤一生比较谨慎周密，谋划战机常彻夜不眠，如今时局紧张，更是日夜筹划，不遑休息，他毕竟是60多岁高龄的人了，如此操劳，怎能经受得了！不久，他积劳成疾，染病不起，于同年八月卒于幽州，终年65岁。庄宗闻讯，辍朝三日为之举哀，下诏追赠太傅。