1736年，瓦特出生在英国苏格兰格拉斯哥市附近的一个小镇格里诺克，他的父亲是一个经验丰富的木匠，祖父和叔父都是机械工匠。少年时代的瓦特，由于家境贫苦和体弱多病，没有受过完整的正规教育。他曾经就读于格里诺克的文法学校，数学成绩特别优秀，但没有毕业就退学了。但是，他在父母的教导下，一直坚持自学，很早就对物理和数学产生了兴趣。瓦特从六岁开始学习几何学，到十五岁时就学完了《物理学原理》等书籍。他常常自己动手修理和制作起重机、滑车和一些航海器械。
1753年，瓦特到格拉斯哥市当徒工。由于收入过低不能维持生活，第二年他又到伦敦的一家仪表修理厂当徒工。凭借着自己的勤奋好学，他很快学会了制造那些难度较高的仪器。但是繁重的劳动和艰苦的生活损害了他的健康，一年后，他不得不回家休养。一年的学徒生活使他饱尝辛酸，也使他练就了精湛的手艺，培养了他坚韧的个性。
1756年，当他的身体稍有好转，瓦特再次踏上了坎坷的道路来到格拉斯哥市。他想当一名修造仪器的工人，但是因为他的手艺没有满师，当时的行会不允许。幸运的是，瓦特的才能引起了格拉斯哥大学教授台克的重视。在他的介绍下，瓦特进入格拉斯哥大学当了教学仪器的工人。这所学校拥有当时较为完善的仪器设备，这使瓦特在修理仪器时认识了先进的技术，开阔了眼界。这时，他对以蒸汽作动力的机械产生了浓厚的兴趣，开始收集有关资料，还为此学会了意大利文和德文。在大学里，他认识了化学家约瑟夫·布莱克和约翰·鲁宾逊等。瓦特从他们那里学到了很多科学理论知识。1764年，瓦特与表妹玛格丽特·米勒结了婚。
1764年，学校请瓦特修理一台纽可门式蒸汽机，在修理的过程中，瓦特熟悉了蒸汽机的构造和原理，并且发现了这种蒸汽机的两大缺点：活塞动作不连续而且慢；蒸汽利用率低，浪费原料。以后，瓦特开始思考改进的办法。直到1765年的春天，在一次散步时，瓦特想到，既然纽可门蒸汽机的热效率低是蒸汽在缸内冷凝造成的，那么为什么不能让蒸汽在缸外冷凝呢？瓦特产生了采用分离冷凝器的最初设想。
在产生这种设想以后，瓦特在同年设计了一种带有分离冷凝器的蒸汽机。按照设计，冷凝器与汽缸之间有一个调节阀门相连，使他们既能连通又能分开。这样，既能把做工后的蒸汽引入汽缸外的冷凝器，又可以使汽缸内产生同样的真空，避免了汽缸在一冷一热过程中热量的消耗，据瓦特理论计算，这种新的蒸汽机的热效率将是纽可门蒸汽机的三倍。从理论上说，瓦特的这种带有分离器冷凝器的蒸汽机显然优于纽可门蒸汽机，但是，要把理论上的东西变为实际上的东西，把图纸上的蒸汽机变为实在的蒸汽机，还要走很长的路。瓦特辛辛苦苦造出了几台蒸汽机，但效果反而不如纽可门蒸汽机，甚至四处漏气，无法开动。尽管耗资巨大的试验使他债台高筑，但他没有在困难面前怯步，继续进行试验。当布莱克知道瓦特的奋斗目标和困难处境时，他把瓦特介绍给了自己一个十分富有的朋友--化工技师罗巴克。当时罗巴克是一个十分富有的企业家，他在苏格兰的卡隆开办了第一座规模较大的炼铁厂。虽然当时罗巴克已近50岁，但对科学技术的新发明仍然倾注着极大的热情。他对当时只有三十来岁的瓦特的新装置很是赞许，当即与瓦特签订合同，赞助瓦特进行新式蒸汽机的试制。
从1766年开始，在三年多的时间里，瓦特克服了在材料和工艺等各方面的困难，终于在1769年制出了第一台样机。同年，瓦特因发明冷凝器而获得他在革新纽可门蒸汽机的过程中的第一项专利。第一台带有冷凝器的蒸汽机虽然试制成功了，但它同纽可门蒸汽机相比，除了热效率有显著提高外，在作为动力机来带动其他工作机的性能方面仍未取得实质性进展。就是说，瓦特的这种蒸汽机还是无法作为真正的动力机。
由于瓦特的这种蒸汽机仍不够理想，销路并不广。当瓦特继续进行探索时，罗巴克本人已濒于破产，他又把瓦特介绍给了自己的朋友、工程师兼企业家博尔顿，以便瓦特能得到赞助继续进行他的研制工作。博尔顿当时经四十多岁，是位能干的工程师和企业家。他对瓦特的创新精神表示赞赏，并愿意赞助瓦特。博尔顿经常参加社会活动，他是当时伯明翰地区著名的科学社团“圆月学社”的主要成员之一。参加这个学社的大多都是本地的一些科学家、工程师、学者以及科学爱好者。经博尔顿的介绍，瓦特也参加了圆月学社。在圆月学社活动期间，由于与化学家普列斯特列等交往，瓦特对当时人们关注的气体化学与热化学有了更多的了解，为他后来参加水的化学成分的争论奠定了基础。更重要的是，圆月学社的活动使瓦特进一步增长了科学见识，活跃了科学思想。
瓦特自与博尔顿合作之后即在资金、设备、材料等方面得到大力支持。瓦特又生产了两台带分离冷凝器的蒸汽机，由于没有显著的改进，这两台蒸汽机并没有得到社会的关注。这两台蒸汽机耗资巨大，使博尔顿也濒临破产，但他仍然给瓦特以慷慨的赞助。在他的支持下，瓦特以百折不挠的毅力继续研究。自1769年试制出带有分离冷凝器的蒸汽机样机之后，瓦特就已看出热效率低已不是他的蒸汽机的主要弊病，而活塞只能作往返的直线运动才是它的根本局限。
1781年，瓦特仍然在参加圆月学社的活动，也许在聚会中会员们提到天文学家赫舍尔在当年发现的天王星以及由此引出的行星绕日的圆周运动启发了他，也许是钟表中的齿轮的圆周运动启发了他。他想到了把活塞往返的直线运动变为旋转的圆周运动就可以使动力传给任何工作机。同年，他研制出了一套被称为“太阳和行星”的齿轮联动装置，终于把活塞的往返的直线运动转变为齿轮的旋转运动。为了使轮轴的旋轴增加惯性，从而使圆周运动更加均匀，瓦特还在轮轴上加装了一个火飞轮。由于对传统机构的这一重大革新，瓦特的这种蒸汽机才真正成为了能带动一切工作及的动力机。1781年底，瓦特以发明带有齿轮和拉杆的机械联动装置获得第二个专利。
由于这种蒸汽机加上了轮轴和飞轮，这时的蒸汽机在把活塞的往返直线运动转变为轮轴的旋转运动时，多消耗了不少能量。这样，蒸汽机的效率不是很高，动力不是很大。为了进一步提高蒸汽机的效率，增大蒸汽机的效率，瓦特在发明齿轮联动装置之后，对汽缸本身进行了研究，他发现，他虽然把纽可门蒸汽机的内部冷凝变成了外部冷凝，使蒸汽机的热效率有了显著提高，但他的蒸汽机中蒸汽推动活塞的冲程工艺与纽可门蒸汽机没有不同。两者的蒸汽都是单项运动，从一端进入、另一端出来。他想，如果让蒸汽能够从两端进入和排出，就可以让蒸汽即能推动活塞向上运动又能推动活塞向下运动。那末，他的效率就可以提高一倍。１７８２年，瓦特根据这一设想，试制出了一种带有双向装置的新汽缸。由此瓦特获得了他的第三项专利。把原来的单项汽缸装置改装成双向汽缸，并首次把引入汽缸的蒸汽由低压蒸汽变为高压蒸汽，这是瓦特在改进纽可门蒸汽机的过程中的第三次飞跃。通过这三次技术飞跃，纽可门蒸汽机完全演变为了瓦特蒸汽机。
从最初接触蒸汽技术到瓦特蒸汽机研制成功，瓦特走过了二十多年的艰难历程。瓦特虽然多次受挫、屡遭失败，但他仍然坚持不懈、百折不回，终于完成了对纽可门蒸汽机的三次革新。使蒸汽机得到了更广泛的应用，成为改造世界的动力。
1784年，瓦特以带有飞轮、齿轮联动装置和双向装置的高压蒸汽机的综合组装，取得了他在革新纽可门蒸汽机过程中的第四项专利。1788年，瓦特发明了离心调速器和节气阀；1790年，他又发明了汽缸示工器，至此瓦特完成了蒸汽机发明的全过程。
1785年，瓦特被当选为英国皇家学会会员。1814年，他被法国科学家学会接纳为外国会员。
1790年以后，优厚的专利税使瓦特成为一个很有钱的名人。
1819年8月5日，瓦特在希思菲尔德郡的家里去世，遗体埋葬在汉德沃尔斯郊区的教堂里。
瓦特生活在十八、十九世纪的英国，所以在他的身上不可避免的带有时代和阶级的局限。他曾经阻挠双筒蒸汽机和高压蒸汽机的发明和推广，还嘲笑别人用蒸汽机来驱动车辆的努力。
瓦特为蒸汽机的推广使用做出了不可磨灭的重要贡献、有力的推动了社会的前进。恩格斯在《自然辨证法》中这样写道：“蒸汽机是第一个真正国际性的发明……瓦特给它加上了一个分离的冷凝器，这就使蒸汽机在原则上达到了现在的水平。”后人为了纪念这位伟大的发明家，把功率的单位定为“瓦特”。