官吏的道德素質狀況不僅直接影響國家的行政效能，而且對整個社會的道德狀況產生廣泛影響。他以規矩共遵和素質提高並舉的方式，塑造其高尚的職業道德，忠於國家、忠於職守、勤於政事、辦事公道；又在行政過程中養成官德，也就是權力道德，如清正廉潔、誠實無私、遵紀守法等，一度成為行政機關的楷模，前來學習觀摩者擠破門檻。
所以僚屬在他手下，養成良好的習慣，交代的事情，能辦不能辦，一定要有下文。
長期抗戰得保槍彈無缺，俞大維功莫大焉。
抗戰軍興，所有的兵工廠在俞大維督運之下，由人背馬馱，爬山過坎，轉運西南，然後披荊斬棘，鑿洞開工，加班增產，創造了罕見的中國式奇跡。兵工廠，到了抗戰勝利，已有18所，分布在西南各省，除了直接生產武器，還有機械、化工、冶金、光學等的研究及生產。
俞大維審時度勢，因為當時日軍武器整體上優於我國，假如兩軍在三陽線——洛陽、襄陽、衡陽拉開作戰陣勢，則日軍的重兵器將失去作用，而我軍兵工署所造迫擊炮、機步槍在抗戰後期，其性能已優於日寇武器，如此則掌握勝算之主動。
他到兵工署就職，第一把火就是訂立對外招標的黑皮書。以計算成本，作為招標簽約的依據，並規定任何采購案，承包商不得向承辦單位贈送財物，否則全案作廢。此令奉行，立即杜絕原先軍火采購中賄賂公行的流弊。管理方麵實施了技術提升、成本核算和兵工會計製度。到抗戰前，更建立了彈道、光學、冶金、精密技術等多個研究所。並在抗戰之初，就在各兵工廠實行了福利社會的一套方法，成立眷村及子弟小學。
交通部任內，他移植了中美聯合參謀本部的工作方法，隨情勢的變化，布置大型圖表室，配屬通信係統、設置通信網絡，再加譯電、分析、審閱等功能，使圖表變成動態。交通的進步，立竿見影。
每天的早餐彙報，兩小時內，要把全國交通的有關事項，分配或解決完畢，先是報告，接著協調，然後裁決。其餘的中高級幹部，多在歐美接受教育，術業有專攻，水平極高，一套成型的參謀作業和企業管理方法，在這裏暢通無阻，很快進入狀況，運作自如，完全沒有那種痼疾般的所謂公文旅行。
有一次出訪美國，偶往無線電城音樂大廳一遊，他問一個下屬，有何感觸？那人答曰，聲光俱佳，舞者麵容、曲線、服裝無一不美。俞大維就說，僅注意這些遠不夠啊。閣下是學管理的，一百多人的表演者如何進出前後台？如何訓練與管理？應到後台觀摩，才有心得。他又舉中國人的大型筵席，往往宴開一百餘桌，侍者如何分配才能同時上菜、撤盤？這裏麵都是學問。那人聽後受益匪淺。
作為大陸時期的最後一任交通部長，郵電、公路、鐵路、電信，在他任內無一不是飛速發展，工程、行政效率之高，為各部委之冠，種種細節，可見俞先生大處著眼的高度。
1954年，被任命為最高防務長官。當時他身在國外，陳誠促其束裝就道，但對任命，則要先征求他的意見。蔣介石說，不必！他這個人，一旦聽到炮聲，一定會及時趕到最前線。
他曾親自乘機到徐蚌戰場空中投糧。
像王耀武、黃維、鄭洞國等人，雖然戰敗了，但俞先生很同情他們，認為是可貴的忠貞之士。他也感到自慚：“如果換了是我，大勢已去的情況下，我又能如何？”他是設身處地地替他人著想。
陳儀被執，他費盡心力，想去挽救他的生命，向層峰懇求陳情，整整一個上午，上麵不置可否，求其苟免未能奏效，他為此傷痛不已。
不在前線，就在去前線的路上！他的辦公室總是空的，他總在前線奔忙。1955年3月的一則日記可見其戎馬倥傯之一斑。“３月７日晚，我乘太昭艦北巡，翌日抵東引，視察防務後，繼駛馬祖，途經浪島、大西洋島。旋沿北竿塘西岸勘察海灘狀況。上午十一時在南竿塘登岸。適遇見顧問團陸軍組長麥克唐納準將，相偕視察部隊，然後乘原艦至北竿塘，遇大霧，故僅停留半小時許。九日欲往大白犬島，因風浪太大不能登岸而返回。”
他營救陳儀，未能奏效。到了孫立人案發，他參與九人調查小組，叨陪末座，第一次開會，陳誠念調查報告，聲音細小，他聽不太清。輪到他發言，他就說，按照常理，似乎純屬孫立人個人或極少數人的行為，因為假如有案情，其他人就不太可能知情，因為知情的人愈多，事機愈可能提早暴露，知情人既少，為何牽連這麼多人？這是難以自圓其說的。這顯出俞大維作為最高幕僚之一，感情和縝密的頭腦相配屬，為孫立人的冤枉，給出可信的論據。