克列缅特·叶夫列莫维奇·伏罗希洛夫在他的回忆录《生活的故事》的前言中写道：“我不信上帝，但我感激自己的命运。因为降临我头上的那条道路，正是我有幸走过来的道路。再也没有比工人和革命士兵的事业更崇高的了。”因此，苏联人称他是“军队的统帅”和“人民的儿子”。
伏罗希洛夫在其一生的军事活动中，曾荣获8枚列宁勋章，6枚红旗勋章，以及苏沃洛夫一级勋章和许多苏联奖章。1935年11月20日，苏联首次授予五名苏军将领元帅军衔。伏罗希洛夫是这五名元帅之一。1920年，他获得革命荣誉武器——带镀金刀柄的、刻有红旗勋章的军刀，1968年，又获得镀有金色苏联国徽的革命荣誉武器。
1881年2月4日(公历1月23日)，伏罗希洛夫出生在一个铁路工人家庭里。父亲叶费列姆·安德列耶维奇，当过兵、打过仗，后来做铁路巡道工，母亲玛丽姬·瓦西里耶夫娜是个农家女子，比丈夫小13岁，常以打短工的繁重劳动来补贴贫寒的家庭生活。
伏罗希洛夫童年时期生活贫困。直到13岁，他才进入一所乡村学校读了两年冬季补习班。1895年从这所学校毕业后，他还渴望继续读书，但在当时这只是一个梦想。
1896年，他进入尤里耶夫卡冶金公司的一家工厂，当上了钳工学徒。1903年到卢甘斯克的加尔特曼机车制造厂做工。在加尔特曼机车制造厂，他加入了俄国社会民主工党。这个共产主义组织是与列宁分不开的，从此，伏罗希洛夫就把自己的命运同列宁领导的党永远联系在一起了。
1905年1月9日，彼得堡14万受尽剥削和压迫的工人及其家属举行示威，遭到沙皇军队镇压，死伤工人3000多名。这一事件成为第一次俄国革命的开端。卢甘斯克地区的工人和农民都积极参加了这次革命。2月16日，伏罗希洛夫参与领导了卢甘斯克机车制造厂工人罢工，并发表了演讲。罢工以工人的胜利而结束。
此后，伏罗希洛夫秘密地在工人中开展革命活动。曾多次被捕，遭到监禁和流放。在霍尔莫戈雷被监禁的时候，他结识了女政治流放犯叶卡捷琳娜·达维多芙娜·戈尔勃曼。两人彼此相爱。
第一次世界大战爆发时，伏罗希洛夫正在察里津(后改为斯大林格勒，现为伏尔加格勒)的一座大炮工厂做工。他在工人中进行反战宣传。在1917年二月革命的日子里，他来到彼得格勒。发动了伊兹麦洛夫禁卫团起义。起义进行得极为顺利，最后士兵们选举伏罗希洛夫为彼得堡工人代表和布尔什维克党团委员会委员。十月革命前夜，他按照列宁的指示，加强了矿区工人的工作，在工人中建立了赤卫队。积极参加十月革命。11月被任命为彼得格勒市人民委员。
1918年3月6日，基辅陷落于德奥军队之手，哈尔科夫和彼得格勒都处于危险之中。伏罗希洛夫组织和领导了第一支卢干斯克社会主义游击队，开始对德奥军队作战。伏罗希洛夫自己把这件事看作是做军事工作的开端。3月下旬，他率领游击队从卢干斯克出发，向科诺托普前进。在科诺托普，游击队与德奥军队展开了激烈的战斗。他率领的游击队在哈尔科夫工人游击队的配合下，击退了德国第27预备兵团的多次进攻。但终因力量悬殊，哈尔科夫于4月8日被德军占领。
不久，卢甘斯克也面临着被德奥军包围的形势。他率领部队掩护80列火车由顿河草原向察里津撤退。此时，他已被任命为第5集团军司令，指挥两个军和由莫罗佐夫军区与顿涅茨克军区居民组编的部队。在这里，他指挥的部队不仅对入侵乌克兰的德奥军队进行了有组织的抵抗，而且与顿河哥萨克白匪军苦战了三个月，到达察里津与苏军主力会合。
1918年的察里津保卫战，成为保卫新生苏维埃政权的最重要战役之一。伏罗希洛夫率部从顿巴斯突破封锁来到察里津之后，大大加强了察里津市的防御力量。7月19日，伏罗希洛夫到刚建立的北高加索军区军事委员会任副主席，同时担任了察里津前线司令、南方方面军副司令。为了有充足的兵员，他派人到农村动员可靠分子参军，并加强了对部队的训练。为了适应大兵团作战，他把零散的游击部队编成正规兵团；为了对付机动性强的哥萨克骑兵，他组建了几个用大量机枪和火炮装备的加强师；为了支持步兵和骑兵作战，他组建了装甲纵队。所有这些措施，进一步加强了察里津的防卫。苏军在伏罗希洛夫的指挥下，打退了敌人的数次进攻，显示了他卓越的指挥才能。
1918年11月，他当选为乌克兰工农政府委员、乌克兰共和国内务人民委员、哈尔科夫军区司令。1919年5月，他领导了格里戈里耶夫的剿匪作战。6月，出任第14集团军司令。不久，指挥了卡捷林诺斯拉保卫战。后任乌克兰内线司令，指挥了基辅保卫战。
伏罗希洛夫和布琼尼一样认为，大批骑兵部队机动灵活而且威力巨大，苏联红军必须组建一支相当规模的骑兵集团军。于是，当布琼尼向中央提出这一建议时，他表示完全赞同。1919年11月，伏罗希洛夫便被任命为第一骑兵军的军事委员。布琼尼在回忆中说道，伏罗希洛夫“是领导全军作战的核心人物之一”。“骑兵部队的特殊组成要求任命不仅具有一般政治声望，而且要多少以自己的军事生涯闻名于众，享有一定威信的人。”伏罗希洛夫率领这支部队粉碎了邓尼金军队的进攻。从波兰白军手中解放了乌克兰，消灭了弗兰格尔的部队。
此后，伏罗希洛夫在苏联红军中做了相当长一段时间的党政工作。从1924年起任莫斯科军区司令。与伏龙芝等人一起参与领导了军事改革。1925年至1934年，他升任陆海军人民委员和苏联革命军事委员会主席。此后又担任了6年苏联国防人民委员，为加强苏军建设花费了大量心血。
卫国战争一开始，他就直接参加了粉碎德军进攻的组织工作，先后担任国防委员会委员、最高统帅部大本营成员、西北方面军总司令和列宁格勒前线司令、游击队总司令等职。但由于他对战争的认识在一些方面仍停留在骑兵时代，对当代战争中的新情况认识不足，所以在第二次世界大战中战绩一般，未能像在国内战争中那样得到人们的高度赞誉。
第二次世界大战结束后，他于1945—1947年出任盟国对匈牙利管制委员会主席。1952—1960年为苏共中央委员会主席团委员，1953—1960年任苏联最高苏维埃主席团主席。1961年10月在苏共二十二大上，因被指责为支持反党集团而未进入新的中央委员会。1966年4月苏共二十三大后，重新当选为中央委员。1969年12月2日病逝。