年少的时候，加菲尔德争强好斗，长大之后，他却变得性格温和起来，但他的这种温和其实更多是一种内敛，因为他骨子里还是有一种向上冲的精神，所以学校里那种平淡的生活，根本无法满足加菲尔德对未来的期望。
因此，在学校任职的时候，加菲尔德又自学了法律，并在1860年进入法律界。这个时候，奴隶制问题引发的矛盾成为美国国内最为主要的矛盾，加菲尔德以反奴隶制的态度，进入了俄亥俄州议会。
南北战争初期，联邦军队在佛特萨姆特战役中失利，就在这个时候，加菲尔德加入了联邦军队。因为他认为佛特萨姆特战役的战败，会激起北方人对抗南方人的情绪，从而促进联邦最终击败邦联。
战场上，加菲尔德表现不错。在1862年1月的克里克战役中，加菲尔德跟随汉弗莱·马歇尔将军一起作战，最后以少胜多成功阻止了邦联军队向肯塔基州东部挺近。此战之后，加菲尔德被晋升为准将。
1863年1月，加菲尔德被任命为威廉·罗斯克兰将军的参谋长。在当年9月的奇卡姆家战役中，加菲尔德骑着战马，勇敢地穿过敌人的火线，把紧急军情传遍了军队。在此过程中，加菲尔德的战马也受了伤。此役之后，加菲尔德正式晋升为少将。
就在加菲尔德在战场上不断立功的时候，他得知自己已经当选了国会议员，于是他在1863年11月辞去军职，去了国会任职。
作为一个从战场上下来的国会议员，加菲尔德威望很高，他连续八次在国会议员竞选中获得成功，并成为国会军事委员会成员之一。
在国会里，加菲尔德是个非常激进的共和党成员。战争期间，他主张应该没收叛军财产，处决或者流放叛军将领。
1864年大选时，加菲尔德认为林肯总统没有能够更猛烈的发动战争，而抵制对林肯的党内提名。后来因为没有其他更合适的候选人，加菲尔德被迫接受了林肯。
约翰逊晋升为总统之后，一贯激进的加菲尔德突然变得温和起来，面对共和党激分子的重建政策和约翰逊宽和政策的矛盾，加菲尔德试图进行调节。但最后，加菲尔德还是站在了激进共和党人一方，参与了对约翰逊总统的弹劾。
战争英雄格兰特成为总统之后，格兰特的激进重建南方方案令加菲尔德非常满意，所以格兰特的两次大选和两个总统任期内，加菲尔德都一直站在格兰特的阵营，并在格兰特政府里担任银行货币委员会主席、拨款委员会主席等职务。
也正是这段时期，加菲尔德惹上了一个麻烦，那就是动产信用公司丑闻。这个丑闻的经过是这样的，格兰特执政时，动产信用控股公司在承建由联邦政府资助的全国横跨太平洋铁路时，搜刮了巨额的利润。当国会打算调查这件事的时候，动产信用公司以低于市场价值的价格把公司股票卖给了国会中的一些议员，试图阻止调查。
在这个丑闻中，加菲尔德被控接受了动产信用公司的10股股票和300美元贷款。在接受调查时，加菲尔德否认自己曾经接受股票，只是承认接受过300美元贷款，并且已经全额还款了。
丑闻让加菲尔德在家乡的支持率下降，但他还是赢得了国会议员的连任。在海斯总统执政期间，加菲尔德已经成为国会中处于少数派地位的共和党人的领导者。
海斯在竞选时就许诺自己只当一届总统，所以1880年的共和党提名大会上，海斯并没有参加。虽然没有海斯参加，加菲尔德在党内也不占据优势，因为战争英雄格兰特又回来了，他试图争取自己的第三个总统任期。
尽管任总统时格兰特政府的丑闻不断，但在这次共和党提名大会上，格兰特的支持率依然很高，连续33轮投票中，格兰特都是领先的。
而在这些轮投票中，加菲尔德只是象征性得到1到2张选票，看来此次大选是和加菲尔德无关了。