二戰爆發後，隨著世界政治、經濟和軍事形勢的發展，馮·諾伊曼開始把精力更多地投入到實際問題之中，主要是計算數學和對策論（又稱搏弈論）這兩方麵的工作。
他認為，描述物理現象的方程一旦用數學語言給予表達，就可以從數值上得到解決而無須進行重複試驗或借助於常規方法。他在計算數學方麵的努力，是與他的這種觀點及解決實際計算問題的困難程度分不開的。
1940年，馮·諾伊曼受聘擔任美國陸軍阿伯丁彈道實驗所的科學顧問。這一年也是他科學生涯的一個轉折點。在此之前，他是一個通曉物理學的登峰造極的純粹數學家；1940年以後則成了一位牢固掌握純粹數學的應用數學家。1941年他受聘為美國海軍兵工局顧問。1943年底，他以顧問身份參加了洛斯阿拉莫斯科學實驗室的工作，即通常為世人所知的製造原子彈的“曼哈頓計劃”。他負責指導原子彈最佳結構的設計，探討實現大規模熱核反映的方案。他的主要工作是解決研製工作中的複雜計算問題。這些問題的解決引起了快速估計和逼近解的需要。而且這些問題往往涉及一些不能忽略或分離的外部擾動，必須借助數值方法進行定性分析。馮·諾伊曼對此進行了探索。在論述統計、衝激波、流體動力學、彈道學、爆炸學、氣象學等方麵發表了一係列文章，就這些領域內的各種問題的數值算法進行了探討。
電子計算機產生之後，馮·諾伊曼又提出了利用計算機進行數值分析的新思想、新方法，從而推動了計算數學的興起和形成，也使他成為現代科學計算的奠基人之一。
馮·諾伊曼在計算數學方麵的成就，與他深厚的純粹數學造詣分不開的。他思考問題的速度令人敬畏，無論是抽象的求證還是實際運算他做起來都是得心應手的。他對自己熟練的運算格外滿意和引以自豪。有一次，有一位年輕的科學家就對馮·諾伊曼最引以為自豪的快速運算開了一個玩笑。
事情是這樣的：阿伯丁彈道實驗所的一位青年科學家有一個複雜的式子需要求值，第一個特解，他花了10分鍾時間，第二個特解，他用筆和紙運算了一個小時，第三個特解，他不得不求助於台式計算機，即便如此，他還是花了半天功夫才獲得結果。當馮·諾伊曼來時，這位青年科學家把這三個特解公式遞上去求教。馮·諾伊曼自然樂於相助，“如果令n=1，我們可求得……”正在馮·諾伊曼昂首凝思，喃喃自語之時，這位年青的科學家便插嘴說：“是2.31吧？”馮·諾伊曼聽了後不解地看了他一眼，開始計算第二個特解：“現在令n=2……”他思索著，嘴唇微微啟動。這位年青科學家已經作過筆算，當然能摸到馮·諾伊曼的演算過程，在他就要算出答案的一瞬間。這位青年人又插話了，這次他故意用的是一種略帶遲疑的口吻：“是7.49嗎？”這次正確的回答，使馮·諾伊曼不免皺起了眉頭。他連忙接上去算第三個特解：“若令n-3，則……”還是一如既往，在他默念了片刻之後，這位青年科學家又在諾伊曼運算結束之前，就報出了答案。這一下，馮·諾伊曼可受不了啦。這完全不可能。他從來就未見過有初出茅廬的年輕人勝過他的！他一時陷入了心煩意亂之中，一直到這位開玩笑的家夥自己向他承認事先已作過筆算之後，他才平息了心頭的慍怒。