因實際工作中對計算的需要以及把數學應用到其他科學問題的強烈願望，使諾伊曼迅速決定投身到計算機研製者的行列。對業已功成名就的諾伊曼來說，這樣做需要極大的勇氣，因為這是一個成敗未卜的新征途，一旦失敗，會影響他已取得的名譽和地位。諾伊曼卻以對新事物前途的洞察力，毅然決然地向此征途邁出了第一步，於1944年8月加入莫爾計算機研製小組，為計算機研製翻開了輝煌的一頁。
諾伊曼以其非凡的分析、綜合能力及雄厚的數理基礎，集眾人之長，提出了一係列優秀的設計思想，在他和莫爾小組其他成員的共同努力下，隻經曆了短短的十個月，人類在數千年中積累起來的科學技術文明，終於結出了最激動人心的智慧之花——一個全新的存儲程序通用電子計算機方案（EDVAC方案）誕生了。
諾伊曼以“關於EDVAC的報告草案”為題，起草了長達101頁的總結報告。報告廣泛而具體地介紹了製造電子計算機和程序設計的新思想。報告明確規定，EDVAC計算機由計算器、邏輯控製裝置、存儲器、輸入和輸出五大部分組成，並闡述了這五大部分的職能和相互關係。這份報告是計算機發展史上一個劃時代的文獻，它向世界宣告：電子計算機的時代開始了。
1954年6月，諾伊曼到美國普林斯頓高級研究所工作，出任ISA計算機研製小組的主任職位。在那時，他提出了更加完善的設計報告“電子計算裝置邏輯結構初探”。報告中，諾伊曼對EDVAC中的兩大設計思想作了進一步的論證，為計算機的設計樹立了一座裏程碑。
——傳世佳言——
人們不相信數學簡單，隻因他們未意識到生命之複雜。
設計思想之一是二進製，他根據電子元件雙穩工作的特點，建議在電子計算機中采用二進製。報告提到了二進製的優點，並預言，二進製的采用將大大簡化機器的邏輯線路。
實踐證明了諾伊曼預言的正確性。如今，邏輯代數的應用已成為設計電子計算機的重要手段，在EDVAC中采用的主要邏輯線路也一直沿用著，隻是對實現邏輯線路的工程方法和邏輯電路的分析方法做了改進。
程序內存是諾伊曼的另一傑作。通過對ENIAC的考察，諾伊曼敏銳地抓住了它的最大弱點——沒有真正的存儲器。ENIAC隻有20個暫存器，它的程序是外插型的，指令存儲在計算機的其他電路中。這樣，解題之前，必須先想好所需的全部指令，通過手工把相應的電路聯通。這種準備工作要花幾小時甚至幾天時間，而計算本身隻需幾分鍾。計算的高速與程序的手工存在著很大的矛盾。
針對這個問題，諾伊曼提出了程序內存的思想：把運算程序存在機器的存儲器中，程序設計員隻需要去存儲器中尋找運算指令，機器就會自行計算，這樣，就不必每個問題都重新編程，從而大大加快了運算進程。這一思想標誌著自動運算的實現，標誌著電子計算機的成熟，已成為電子計算機設計的基本原則。
諾伊曼為計算機的發展道路打通了一道道關卡。盡管長期以來，關於二進製的引入和程序內存的發明權一直有爭議，但是，諾伊曼在計算機總體配置和邏輯設計上所作的卓越貢獻掀起了一次計算機熱潮，推動了電子計算機的發展。他無愧於“計算機之父”這一美稱。