诺伊曼生于匈牙利的布达佩斯。他生活在一个非常富裕的家庭里，从小就显示了在科学方面的才能。他十八岁时就在德国的数学杂志上发表了论文。
1943年起，诺伊曼以顾问的身份参加了美国洛斯阿拉莫斯研究所的工作。
洛斯阿拉莫斯研究所给了诺伊曼许多研究课题。为了解决这些问题，诺伊曼必须进行大量的计算。由于这项工作的需要，他开始设想研制高速度运行的电子计算机。
当时，最先进的计算机是“ENIAC”。这台计算机从1946年开始运转，它有存储能力，但运算时，要用手操作控制板上的开关。每次改变工作内容时，还要将一组新的配线装入机器，教给机器程序，而且机器也很容易发生故障。
42岁时诺伊曼就任普林斯顿高级研究所的计算机研究所所长。此后，他和他的同事们研制出了名为“JONI-AC”的计算机。
在计算机设计上，他们模仿了生物大脑中的某些动作。从此，诺伊曼又开始对神经学进行研究。他从神经学和心理学的角度研究人，进而确立了自动化理论。
1957年2月8日诺依曼因病去世。在电子计算机的漫长的发展历史上，没有哪一个人可以独占发明者的席位。但可以说，诺伊曼是一个为计算机技术的发展作出了伟大贡献的人。