1944年夏天的一个傍晚，冯·诺伊曼来到阿伯丁车站等候去费城的火车。在候车室里，身旁的一位青年很快就认出他就是闻名世界的大数学家冯·诺伊曼，便怀着年轻人会见大人物时那种局促不安的心情走了过去。这位名叫格尔斯坦的青年涨红着脸向数学家自我介绍，说他在费城宾夕法尼亚大学的莫尔学院工作。冯·诺伊曼热情地招呼他坐下，关心地询问他的工作状况。大科学家毫无架子，和蔼谦虚的态度很使格尔斯坦感动，他向冯·诺伊曼请教了一些数学疑难问题。最后，他还告诉数学家说，他正在莫尔学院参加试制每秒钟能计算333次乘法的电子计算机的工作。
原来，格尔斯坦所在的莫尔学院正是受阿伯丁弹道实验所的委托，于一年多以前开始世界上第一台电子计算机的试制工作的。这件事恰巧同冯·诺伊曼当时正在日日夜夜思索的问题不谋而合。格尔斯坦的介绍，引起了冯·诺伊曼的极大兴趣。他拉住年轻人，向他详细了解了这方面的工作，从中领悟到了头等重要的意义。
20世纪30年代，由于电子学的发展和在研制穿孔卡片式统计分析机的过程中积累的经验，为创立电子计算机提供了主要的技术前提。
二次大战中，宾夕法尼亚大学莫尔学院电子系和阿伯丁弹道研究实验室共同负责为陆军每天提供6张火力表。这项任务非常困难和紧迫。因为每张表都要计算几百条弹道，而一个熟练的计算员用台式计算机计算一条飞行时间60秒的弹道要花20小时。尽管他们改进了微分分析仪，聘用了200多名计算员，一张火力表仍要算二三个月，问题相当严重。
当时，负责该项工作的军方代表是年轻的格尔斯坦中尉，他原是一位数学家。他的朋友莫希莱这时正好在莫尔学院电子系任职。1942年8月，莫希莱写了一份《高速电子管计算机装置的使用》的备忘录，即ENIAC的初始方案。思想敏捷的格尔斯坦意识到这一方案的巨大价值，立即向他的上司汇报，获得支持，成立了研制小组。这个小组的成员是：负责电子计算机总设计方案的是物理学家莫希莱；芬兰人艾克特担任总工程师，负责解决制造中一系列困难复杂的工程技术问题；年轻的格尔斯坦中尉不仅在数学上能提出有用的建议，而且是精干的科研管理人才；另外还有年轻的逻辑学家勃克斯参加。
正当研制工作停滞不前，研制者大伤脑筋时，冯·诺伊曼投身到新型计算机设计者的行列中来了。
冯·诺伊曼是20世纪上半叶世界最伟大的数学家之一，具有纯数学家和应用数学家典型的双重性格。他追求纯粹数学的严密和美感，又注重数学的应用以及与物理学等其他学科的联系。这使他不仅在集论、算子谱理论、实函数论和测度论(遍历定理)等纯数学领域，而且在博弈论、数理经济学、计算机理论和计算数学等应用数学部门都作出了重大贡献，成为这些数学分支的主要开创者。
第二次世界大战期间，冯·诺伊曼参与了许多军事方面的研究。1940年，他被阿伯丁弹道实验研究所聘为科学顾问；1941年受聘任海军军械局顾问；1943年成为洛斯阿拉莫斯实验室顾问。无论是作为主角还是配角，他都以他出色的才能解决了一个个重大的课题。这些课题涉及到流体力学、空气动力学、气象计算等许多方面，显示出冯·诺伊曼熟练的分析技巧和严谨的逻辑推理本领。
洛斯阿拉莫斯实验室是原子弹研制机构，这里聚集着一批像奥本海默、维格纳、费米、特勒那样的高水平的物理学家和工程技术人员，但缺少既懂得物理学家们的要求，又能很快从数学上拿出解决方案的数学家。奥本海墨认定冯·诺伊曼就是这样的人。他热情地邀请了冯·诺伊曼到洛斯阿拉莫斯实验室帮助工作。冯·诺伊曼不负众望，凭借他熟练的分析技巧和特有的数学计算才能，为洛斯阿拉莫斯实验室解决了好些关键问题。他对原子弹的引爆提出的建议被实验所证实；对提高原子弹爆炸效果以及有效地配置原料进行估计，也卓有成效。在洛斯阿拉莫斯，冯·诺伊曼碰到了许多必须依靠大量的计算才能解决的问题，如受控热核反应过程，它涉及数10亿次的初等算术运算和初等逻辑指令。这不是靠人力和一般的计算机所能解决的。怎样才能获得超高速计算呢？冯，诺伊曼当时尚不清楚，但问题既然提出，一旦有机会总是要解决的。
同格尔斯坦分手后，冯·诺伊曼急不可耐地写信告诉宾夕法尼亚大学的莫尔学院，希望马上访问那儿，看看这台尚未出世的机器。莫尔学院计算机设计组的领导者艾克特和莫希莱听说后十分高兴。他们非常渴望能得到这位大科学家的指导和帮助。艾克特还说：“冯·诺伊曼是否真正的天才，从他来以后提的第一个问题就可判断出来。”这年8月初，冯·诺伊曼来到莫尔学院，参观了尚未竣工的被称为ENIAC的电子计算机，他第一个问题就问起机器的逻辑结构。艾克特心中暗暗佩服：“不愧是位天才的科学家，一下就点到问题的要害！”这以后，冯·诺伊曼就成为莫尔学院的实际顾问者，他同ENIAC的首批研制者们讨论了提高电计算机性能的各种措施，对ENIAC的优缺点作出判断，并提出相应的改进建议。正是因为冯·诺伊曼所起的决定性作用，才使ENIAC在这一年里得以试制成功。
ENIAC是一个庞然大物，体积大约90立方米，占地170平方米，总重量达到30吨。它拥有电子管18000个，继电器1500个，耗电150千瓦，每秒运算5000次，比机械计算机快几百倍到一千倍，比人运算快一千倍到几千倍，而且计算过程是按照编好的程序自动进行的。
ENIAC在计算机发展史上的重要性是毋庸置疑的。它是世界上第一台真正能够运转的大型电子计算机。它的成功开辟了提高计算速度的极为广阔的前景。但它毕竟是新生事物，尚不完善。例如，它的储存容量太小；程序是“外插型”的，不便使用，为了几分钟的计算，而准备工作却要数小时。连研制者本人也感到它的弱点，有待改进。
1945年6月，冯·诺伊曼起草了一个全新的存贮程序通用电子计算机方案——EDVAC(Electronic Discret Varable Automatic Computer)，对ENIAC进行了改造。这项更完美的设计为现代电子计算机的结构奠定了基础。
一年后，又一份关于电子计算机装置逻辑结构的更详细报告发表，它是又一个新的电子计算机(IAS机)方案，而且包括有关结构选择的论证。在这份报告的指导下，一个广泛的电子计算机的研究工作在美国以至世界许多地方展开。