1736年，瓦特出生在苏格兰格拉斯哥市附近的一个小镇格里诺克，他父亲是一个经验丰富的木匠，祖父和叔父都是机械工匠。也许正是受到家庭的影响，瓦特从小就对数学充满了喜爱，尤其对几何特别敏感。
少年时代的瓦特没有接受过完整的正规教育。他曾经就读于格里诺克的文法学校，数学成绩特别优秀，但由于各种原因没有毕业就退学了。但是，在父母的教导下，瓦特一直坚持自学，并且很早就对物理和数学产生了兴趣。
瓦特从6岁开始学习几何学，到15岁时就已经学完了《物理学原理》等书籍。
也许是在父亲的影响下，瓦特常常自己动手修理和制作起重机、滑车和一些航海器械。他经常一个人将家里的机械拆卸掉，然后自己修理和重装。往往他都能将那些复杂的玩意修理好。
1753年，瓦特到格拉斯哥市当学徒，由于收入过低不能维持生活，第二年他又到伦敦的一家仪表修理厂当学徒。凭借着自己的勤奋好学，他很快学会了制造那些难度较高的仪器。但是繁重的劳动和艰苦的生活损害了他的健康，一年后，他不得不回家休养。一年的学徒生活使他饱尝辛酸，也使他练就了精湛的手艺，培养了他坚韧的性格。
1757年，他的身体稍有好转，瓦特再次踏上了坎坷的道路，来到了格拉斯哥市。他想当一名修造仪器的工人，但是因为他的手艺没有满师，当时的行会不允许。
幸运的是，瓦特的才能引起了格拉斯哥大学教授台克的重视。在他的介绍下，瓦特进入格拉斯哥大学当了教学仪器的工人。在大学里，他认识了化学家约瑟夫·布莱克和约翰·鲁宾逊等。瓦特从他们那里学到了很多科学理论知识。
1764年，学校请瓦特修理一台纽可门式蒸汽机，在修理的过程中，瓦特熟悉了蒸汽机的构造和原理，并且发现了这种蒸汽机的两大缺点：活塞动作不连续而且慢；蒸汽利用率低，浪费原料。从此以后，瓦特便开始思考改进的办法。
直到1765年的春天，在一次散步时，瓦特想到，既然纽可门蒸汽机的热效率低是蒸汽在缸内冷凝造成的，那么为什么不能让蒸汽在缸外冷凝呢？瓦特产生了采用分离冷凝器的最初设想。
产生这种设想以后，瓦特在同年设计出了一种带有分离冷凝器的蒸汽机。但是，要把理论上的东西变为现实，把图纸上的蒸汽机变为实在的蒸汽机，还需要走很长的路。瓦特辛辛苦苦造出了几台蒸汽机，但效果反而不如纽可门蒸汽机，甚至四处漏气，无法开动。
从1766年开始，在三年多的时间里，瓦特克服了材料和工艺等各方面的困难，终于在1769年制出了第一台样机。同年，瓦特因发明冷凝器而获得他在革新纽可门蒸汽机的过程中的第一项专利。第一台带有冷凝器的蒸汽机虽然试制成功了，但它同纽可门蒸汽机相比，除了热效率有显著提高外，在作为动力机来带动其他工作机的性能方面仍未取得实质性进展。也就是说，瓦特的这种蒸汽机还是无法作为真正的动力机。
之后，瓦特又生产了两台带分离冷凝器的蒸汽机，由于没有显著的改进，这两台蒸汽机并没有得到社会的关注。直到1781年底，瓦特以发明带有齿轮和拉杆的机械联动装置获得第二个专利。
1781年，瓦特试制出了一种带有双向装置的新汽缸，由此瓦特获得了他的第三项专利。把原来的单向汽缸装置改装成双向汽缸，并首次把引入汽缸的蒸汽由低压蒸汽变为高压蒸汽，这是瓦特在改进纽可门蒸汽机的过程中的第三次飞跃。通过这三次技术飞跃，纽可门蒸汽机完全演变为了瓦特蒸汽机。
从最初接触蒸汽机技术到瓦特蒸汽机研制成功，瓦特走过了20多年的艰难历程。
瓦特虽然多次受挫、屡遭失败，但他仍然坚持不懈、百折不回，终于完成了对纽可门蒸汽机的三次革新，使蒸汽机得到了更广泛的应用，成为改造世界的动力。