康生出生于山东省一个地主家庭，小名张旺，幼时读过几年私塾，1914年因在乡里打架斗殴，被其父禁闭家中，后到青岛礼贤中学读书，改名张宗可。1917年夏天中学毕业后，因为家里遭到土匪抢劫，全家迁居诸城，又改名为张裕先。
1924年夏，康生到上海大学社会科学系读书，又改名为张耘。当时上海大学总务长是全国闻名的工人领袖邓中夏，社会系主任是著名共产党员瞿秋白。张耘于1925年加入中国共产党，曾化名张客，后改名康生。
1930年中共江苏省委改组后，康生调到当时在上海的中共中央组织部任秘书长。1931年初，根据共产国际的指示，中共六届四中全会在上海召开，康生被选为中央委员，出任中共中央组织部部长。此后，康生参加中共中央特科的领导工作，任第三科科长，后来出任中共驻莫斯科国际代表团副团长。1933年，在斯大林领导苏共进行镇反肃托运动时，康生学习斯大林的做法，在旅居苏联的中共党员中，抓所谓“托派分子”和“外国特务”，处决、逮捕、流放了一大批共产党员，制造了多起冤案，包括李立三、陈郁、杨秀峰、何一鸣等都被康生陷害过。
1937年10月，康生从莫斯科回到延安，担任中央党校校长，曾任中央社会部部长和情报部部长。虽然他在“审干运动”中受到严厉批评，但由于他批判王明得力，表面上“赞成”和“拥护”毛泽东思想。1945年6月，在中共七大上他成为中央政治局委员。
1959年7月2日至8月1日，中共中央政治局扩大会议在江西庐山召开，史称“庐山会议”，康生在会上表现十分活跃，他猛烈炮轰彭德怀的发言，充分表现出其投机本性。
康生投机钻营的一大“法宝”，就是假借“支持毛泽东、拥护毛泽东”这面大旗，迎合毛泽东提出的一些思想和看法，从而在党内屡屡得势。1962年9月，中共中央召开八届十中全会，毛泽东在会上批判所谓的“单干风”（包产到户），康生就立即抓到了邓子恢对“大跃进”不满意的言论；毛泽东在会上批“翻案风”，康生就说《刘志丹》的作者是“利用小说反党”。
康生在“文革”中也善于见风使舵，陈伯达倒台后，康生感到“风头不对”，便以“生病”为名终日闭门不出了。因此，在1973年中共十大上，他仍然当上了党中央副主席。