1925年，刚刚年满20岁的林铁，正是血气方刚的年龄，来到北京先后在中国大学、中俄大学和政法大学读书，学习之余，他如饥似渴地阅读大量马列主义书籍，积极参加了李大钊领导的革命活动。在政法大学学习期间，林铁加入了中国共产党，并先后担任政法大学党支部组织委员和代理党支部书记，从此走上职业革命家的道路。
1928年，林铁在上海登上昂德里桥号邮轮，经过40余天的颠簸到达法国马赛，开始了留学生活。在法国学习期间，受党组织委派，林铁到法国巴黎大学统计学院学习，很快担任中共留法党委书记，他以学生身份为掩护，在留法学生及中国工人中秘密从事革命活动。这些活动常常要冒着极大的危险，经常受到法国当局的敌视与破坏。
1931年，日本帝国主义发动侵华战争，当“九·一八”事变的消息传到法国，留法学生和中国工人群情激奋。林铁与廖梦醒等人组织在法国的爱国侨胞和留学生，进行集会和游行示威，到日本驻法使馆递交抗议书，抗议日本帝国主义的侵华暴行。林铁的行为引起了法国警方的注意，受到严密监视。一次，林铁应邀出席法国赤色工会的全国工代会筹备会，研究华工问题。散会以后，他在地铁车站的台阶上被法国警察逮捕拘留，随即被驱逐出境。
中共驻共产国际代表团得知林铁被驱逐的消息，四处打探他的下落，想方设法进行营救，最终通过国际红色救济会，将他顺利地接到苏联。1932年1月，林铁受中共驻共产国际代表团的委派，来到莫斯科重新开始自己的学习生涯。苏联是社会主义国家，是林铁向往已久的地方，他决心在红色国度里更加认真地学习马列主义，向苏联布尔什维克学习，使自己成为更加成熟的无产阶级战士。
在苏联期间，他首先到莫斯科列宁学院学习，在这里，他与后来成为新中国第一任河北省人民政府主席的杨秀峰、开国首任燃料工业部部长陈郁成了同窗好友。
陈郁是中国工人运动的先驱者之一，在苏联学习期间受到错误批判而陷入困境。但陈郁顶住压力，同王明的宗派主义进行坚决斗争，受到王明的打击迫害，被诬蔑为“右派”。林铁因对陈郁表示支持，也受到王明宗派主义的迫害，被送到乌拉尔附近一个矿厂强迫劳动。
第二年秋天，林铁奉调到莫斯科东方大学学习，任中国部支部书记。在这里，他受到了严格的军事训练，还系统地学习了马列主义关于武装斗争的理论和苏共开展武装斗争的经验，这些学习成果都在他回国参加抗日战争和解放战争中派上了用场。
1935年冬天，日本侵略者的铁蹄恣意践踏中国东北领土，并大举向华北推进，中国共产党率工农红军踏上漫漫征途北上抗日，国内革命斗争形势风起云涌，林铁在组织的安排下回到上海。