柯庆施是安徽省歙县南乡竹溪人，1917年秋，他从家乡途经芜湖、南京，最后到达上海。五四运动以后，《新青年》从北京搬到上海，成为宣传马克思主义的主要阵地。柯庆施通过阅读《新青年》杂志，在上海结识了中共创始人之一的陈独秀，并于1920年在上海加入了中国社会主义青年团。陈独秀也是安徽人，1920年初到上海，在共产国际的帮助下成立了上海的共产党早期组织，同时与其他各地的先进分子联系，发起成立中国共产党。与陈独秀的接触对柯庆施的思想产生了重要影响，由此成为柯庆施一生中最重要的转折点，此时他年仅18岁。
1920年冬，柯庆施进入上海外国语学社学习俄文，为去苏联学习作准备。1921年7月，柯庆施远赴苏俄参加会议，并在苏联参观学习。翌年1月，柯庆施作为中国代表之一，参加了共产国际在莫斯科召开的远东各国共产党及民族革命团体第一次代表大会，并受到列宁的接见，成为中国最早见过列宁的人之一。1922年夏天返国，在上海的共青团中央工作，不久由张秋人介绍加入中国共产党，他成为中国共产党的早期党员之一。
柯庆施从苏联返国来到上海，年底陈独秀也从莫斯科回国，由于柯庆施此前有从事共青团工作的经验，陈独秀与中央其他负责人商定，派柯庆施到安徽做共青团的工作，因为当时的安徽教育厅长江彤侯，原来是国民党党员、安徽省参议会议长，和陈独秀比较熟悉，加上江彤侯也是歙县人，和柯庆施是同乡。
1923年春天，柯庆施来到安庆。安庆当时是安徽省的省会，受五四运动的影响，安庆知识青年思想非常活跃，青年学生的爱国运动蓬勃开展，各类进步书刊广泛传播。在陈独秀的举荐下，江彤侯给柯庆施找了一份工作，在安庆的《新建设日报》当编辑，以此身份做掩护从事革命活动。柯庆施主要负责报纸副刊及国内新闻的编辑，他利用这个报纸尽量宣传马克思主义主张，并经常转载《新青年》、《向导》等进步报刊的文章。
利用报纸编辑的身份，柯庆施经常来往于安庆与芜湖之间，开始与芜湖地方青年团创建人密切交往，参与恢复和整顿芜湖社会主义青年团的工作，帮助芜湖学生成立“马克思主义研究会”，吸收了一批进步青年，建立了安庆与芜湖的青年团组织。
1924年2月，安徽的政治形势发生很大变化，柯庆施所在的报馆自行停刊。根据党中央指示，柯庆施在安徽做国民党的发展工作，他担任青年团安庆地方执委会委员长，曾在芜湖宣布中国社会主义青年团芜湖地方执委会31位同志集体加入国民党。不久，柯庆施离开芜湖，再次赴苏俄，到海参崴做华工工作，两年后回到上海，陈独秀、王若飞接见了他，让他回安庆工作，充实安徽革命的领导力量。柯庆施肩负党的重托，从上海乘船到达安庆，被党中央派往安庆担任国民党安徽省党部秘书长。
1927年3月，安庆发生蒋介石亲自策划的青帮流氓捣毁省党部事件，柯庆施等连夜召开紧急会议。会上，柯庆施建议起草通电，迅速将安徽国民党反动派捣毁省、市党部和民众团体，残害革命群众的罪行公诸于世，要求武汉国民党中央迅速“严法治罪，严惩反动，而维党务”，并提请武汉中央派船前来接运安徽代表前往武汉，继续召开国民党安徽省第一次代表大会。
蒋介石反动派的刀枪棍棒，并没有吓倒共产党人和国民党左派。柯庆施同大家一道积极参加省党部的搬迁工作。4月中旬，国民党安徽省党部搬到汉口，并在那里召开了第一次代表大会。会上，柯庆施等数十人增选为执监委员。
1927年蒋介石发动“四·一二”反革命政变，到处捕杀共产党人和革命群众，各地党的组织遭到严重破坏。4月27日，中国共产党在武昌召开第五次全国代表大会，通过了《组织问题决议案》，提出了加强组织建设的新措施。会后，中共中央成立安徽省临时省委，柯庆施担任书记。根据中共五大关于“努力扩大党的数量，吸收产业工人、进步农民和革命知识分子到党的队伍中来”的精神，柯庆施在武汉领导调查安徽的组织成员，联络并登记在武汉的安徽同志，派人回到安徽从事农运和恢复党组织。8月初，中共安徽临时省委由武汉迁至芜湖，正式设立了临时省委各工作机构，柯庆施担任书记兼秘书处主任、秘书、职工运动委员会书记和农民运动委员会书记等多个职务，经过3个多月的工作，安徽全省各地党组织逐渐恢复和建立，工运和农运工作也有了一定发展。
1927年12月，中共中央决定暂时解散安徽省临时省委，柯庆施被调往上海，担任上海闸北区区委书记，从而结束了他在安徽的革命活动。