吉姆·佛雷10岁那年，父亲就意外去世了，留下他和母亲及另外两个弟弟。由于家境寒微，他不得不很早就辍学，到砖厂打工赚钱贴补家用。他虽然学历有限，却凭着爱尔兰人特有的热情和坦率，处处受人欢迎，进而转入政坛。
就连高中都没读过的他，却在46岁那年就已有四所大学颁给他荣誉学位，并且高居民主党重要职位，最后还担任邮政部长之职。
有一次有记者问起他成功的秘诀，他说：“辛勤工作，就这么简单。”记者有些疑惑，问道：“你是不是在开玩笑！”他反问道：“那你认为我又是为什么成功的呢？”记者说：“听说你可以一字不差地叫出一万个朋友的名字。”“不，你错了！”他马上回答道，“我能叫得出名字的人，至少也有五万人。”这就是吉姆·佛雷的高过常人的地方。每当他刚认识一个人时，他定会先弄清他的全名、他的家庭状况、他所从事的工作以及他的政治立场，然后据此先对他建立一个大概的印象。当他下一次再见到这个人时，不管隔了多少年，他一定仍能迎上前去在他肩上拍拍，嘘寒问暖一番，或者问问他的老婆孩子，或是问问他最近的工作情况。有这份能耐，别人觉得他平易近人，和善可亲也就不是什么大不了的事了。
吉姆很早就已发现，牢记别人的名字，并正确无误地叫出来，对任何人来说，表现出来的是一种尊重、友善。