關於馮·諾依曼有很多逸聞趣事，還有一則說的是有幾個青年數學家聚在一起切磋一個數學難題，百思不得其解。於是，有個數學家便把台式計算器帶回家繼續演算。
第二天清晨，這個數學家眼圈黑黑，麵帶倦容走進辦公室，非常得意地對大家炫耀說：“我從昨天晚上一直算到淩晨4點30分，總算找到那道難題的5種特殊解答，真是一個比一個難！”就在這時，馮·諾依曼推門進來，“什麼難？”大家都想見識一下教授的“神算”本領，便把題目告訴了馮·諾依曼。馮·諾依曼興致很高，並很快鎮靜下來，進入了沉思。5分鍾後，馮·諾依曼說出了前4種解答。當他正在沉思第5種解答的時候，青年數學家再也忍不住了，情不自禁脫口講出答案。過了1分鍾，馮·諾依曼才對青年數學家說：“你算得對！”
那位數學家懷著崇敬的心情離去，其他人也都佩服得五體投地，馮·諾依曼教授的頭腦簡直就是一台“超高速計算機”。但是這時，馮·諾依曼仍然呆呆地陷入思索。大家都覺得很奇怪，便問他。馮·諾依曼不安地回答說：“我在想，他究竟用的是什麼方法，這麼快就算出了答案。”他的話剛一說完，大家都哈哈大笑起來：“他是用台式計算器算了整整一個夜晚啊！”馮·諾依曼一愣，頓時明白了大家的意思，也跟著開懷大笑起來。
莫爾小組
1937年，馮·諾依曼加入了美國國籍，成為美國公民。
三年後的1940年，是馮·諾依曼科學生涯的一個轉換點。在此之前，他是一位通曉物理學、登峰造極的純粹數學家；此後，他則成了一位牢固掌握純粹數學的出神入化的應用數學家。他開始關注當時把數學應用於物理領域去的最主要工具--偏微分方程。研究的同時他還不斷創新，把非古典數學應用到兩個新領域：對策論和電子計算機。
馮·諾依曼的這個轉變一方麵來自他長期對數學物理問題的鍾情；另一方麵來自當時社會的需要。
馮·諾依曼對科學做出最大貢獻的是計算機領域。雖然舉世公認的第一台電子計算機ENIAC是莫契利和埃克特發明研究的。但“電子計算機之父”的桂冠卻被戴在馮·諾依曼頭上，而不是ENIAC的兩位實際研究者。主要就是因為馮·諾依曼提出了現代電腦的體係結構。
1943年，二次世界大戰關鍵時期，戰爭需要像一隻有力的巨手，給電腦的誕生鋪平了道路。第一台電子計算機ENIAC就誕生在戰火紛飛的第二次世界大戰，它的“出生地”是美國馬裏蘭州阿貝丁陸軍試炮場。
美國陸軍軍械部派青年軍官戈德斯坦中尉從賓夕法尼亞大學莫爾電氣工程學院召集來一批研究人員，幫助計算彈道表。戈德斯坦本人就是數學家，戰前在密歇根大學任數學助理教授。莫爾學院的兩位青年學者--36歲的副教授莫契利和24歲的工程師埃克特，向戈德斯坦提交了一份研製電子計算機的設計方案--“高速電子管計算裝置的使用”，他們建議用電子管為主要元件，製造一台前所未有的計算機，把彈道計算的效率提高成百上千倍。
1944年夏，戈德斯坦在阿貝丁車站等候去費城的火車，偶然邂逅馮·諾依曼教授。戈德斯坦抓住機會向數學大師討教，馮·諾依曼耐心地回答戈德斯坦的提問。他敏銳地察覺到，這是一件不尋常的事情。馮·諾依曼反過來向戈德斯坦發問，直問得年輕人“好像又經曆了一次博士論文答辯”。最後，戈德斯坦毫不隱瞞地告訴他莫爾學院的電子計算機項目。
馮·諾依曼真的被震驚了，隨即又感到極其興奮。從1940年起，馮·諾依曼就是阿貝丁試炮場的顧問，同樣的計算問題也曾使數學大師焦慮萬分。他迫不及待地向戈德斯坦表示，希望親自到莫爾學院看看那台正在研製之中的機器。多年後，戈德斯坦回憶說：“當他看到我們正在進行的一件工作時，他就跳到電子計算機旁。”
莫契利和埃克特高興地等待著馮·諾依曼的來訪，他們也迫切希望得到這位著名學者的指導，但同時又有點兒懷疑。埃克特對莫契利說道：“你隻要聽聽他提的第一個問題，就能判斷出馮·諾依曼是不是真正的天才。”
這年８月，馮·諾依曼風塵仆仆地趕到了莫爾學院的試驗基地，馬不停蹄地約見攻關小組成員。當馮·諾依曼首先問及機器的邏輯結構時，埃克特與莫契利兩人心照不宣地笑了，他們一下子被這位大科學家的睿智所折服。
此後，馮·諾依曼成為莫爾學院電子計算機攻關小組的實際顧問，與小組成員頻繁地交換意見。年輕人機敏地提出各種設想，馮·諾依曼則運用他淵博的學識把討論引向深入，逐步形成電子計算機的係統設計思想。馮·諾依曼以其厚實的科技功底、極強的綜合能力與青年們結合，極大地提高了莫爾小組的整體水平，使莫爾小組至今依然是科學界令人敬慕的科研組織典範。
莫爾學院研製小組是一個朝氣蓬勃的跨學科攻關小組，在科技史上留下了敢冒風險、敢於取勝的美名。小組成員包括30多名物理學家、數學家和工程師。其中，戈德斯坦在科研組織方麵表現出傑出的才幹，負責協調項目進展。發揮主要作用的是莫契利和埃克特，及一位名叫勃克斯的工程師。
1946年2月14日，世界上第一台電子計算機研製成功。這台機器的名字叫“ENIAC”（埃曆阿克），即“電子數值積分和計算機”的英文縮寫，它采用穿孔卡輸入輸出數據，每分鍾可以輸入125張卡片，輸出100張卡片。
機器被安裝在一排2.75米高的金屬櫃裏，占地麵積約為170平方米，總重量達到30噸。在ENIAC內部，總共安裝了17468隻電子管，7200個二極管，70000多電阻器，10000多隻電容器和6000隻繼電器，電路的焊接點多達50萬個；在機器表麵，則布滿電表、電線和指示燈。
ENIAC的運算速度達到每秒鍾5000次加法，可以在3/1000秒時間內做完兩個10位數乘法。一條炮彈的軌跡，20秒鍾就能被它算完，比炮彈本身的飛行速度還要快。
電子計算機之父
雖然ENIAC計算機獲得巨大的成功，但它最致命的缺點是程序與計算兩分離。指揮1.7萬個電子管“開關”工作的程序指令，被存放在機器的外部電路裏。需要計算某個題目前，必須把數百條線路用手接通，像電話接線員那樣工作幾小時甚至好幾天，才能進行幾分鍾運算。
在ENIAC尚未投入運行前，馮·諾依曼就已看出這台機器致命的缺陷--程序與計算兩分離的主要弊端。他決定對電子計算機進行脫胎換骨的改造。短短10個月，馮·諾依曼就起草了一份新的報告，他把新機器的方案命名為“離散變量自動電子計算機”，英文縮寫為“EDVAC”。
1945年6月，馮·諾依曼與戈德斯坦、勃克斯等人，以“關於EDVAC的報告草案”為題，聯名發表了一篇長達101頁紙的報告，即計算機史上著名的“101頁報告”。報告廣泛而具體地介紹了製造電子計算機和程序設計的新思想，它的發表一下子轟動了整個數學界，就連一向專搞理論研究的普林斯頓大學高等研究院也因此批準讓馮·諾依曼開始致力於建造計算機。