圖海早年天資忠愨，性情敦篤。初任筆貼式加員外郎銜。
順治二年（1645年）四月，改任內國史館侍讀，五月，兼任明史纂修官。這一年，與圖海同時被提為國史館侍讀的有五人，被提為明史纂修官的有九人。
順治八年（1651年）二月，圖海背著史書跟從順治帝到南苑，順治帝見他舉止穩重，“欲重用之”，恐別人不服，就對眾人說：“這個中書舉止異常，應當依法處置。”眾人都以圖海無罪為他求情，順治帝說：“不然，立刻讓他擔任卿相，才可以滿足他的願望。”因此，立即授予他內秘書院學士。
順治十年（1653年），圖海被晉升為弘文院大學士，列議政大臣，參與機務。
順治十二年（1655年）二月，因恪勤職守，加太子太保。五月，兼管刑部尚書事。次年考滿，加少保，萌一子入監讀書。可以說，正是由於順治帝的賞識提拔，圖海才迅速成為朝中的股肱大臣。後來順治帝也說：“圖海原係白身，朕破格優擢，任用一品。”
圖海在管理刑部期間，並沒有辜負順治帝的期望，做了一些有益的改革，受到時人的肯定。據史載，他與姚文然同定律例，將明代酷法進行刪除，並奏準除去死囚的長伽、匣床，以免獄卒淩虐。又毀掉明代鎮撫司所用的酷刑刑具，如呂公絛、紅繡鞋等，以免後人效法。這些做法，使得“當時翕然頌德”。
但圖海的仕途並非一帆風順，順治帝對他的寵信日漸減少。
順治十三年（1656年）七月，圖海管理刑部僅一年多，就被順治帝革去拜他喇布勒哈番、太子太保，又降三級。
順治十五年（1658年），因江南鄉試作弊一案，刑部“徇庇遲至經年”，“問擬甚輕”，圖海受牽連，被革去少保、太子太保及所加之級。十二月，他奉命同大學士巴哈納、金之俊、衛周祚、李霨等校訂《大清律》。
順治十六年（1659年）閏三月，圖海再次受到嚴重的打擊。起因是侍衛阿拉那與公額爾克戴青家奴鬥毆於市，刑部在審理時，判處阿拉那鞭一百，折贖，上奏得準。但十八天後，順治帝下旨嚴辦圖海，圖海被革職，家產籍沒。這次處罰對圖海來說，當然是非常致命的打擊，丟官敗家，還險些喪命。
是順治帝並沒有忘記這件事。在順治十八年十月，他臨終彌留之際，留下了遺言：“原任都統圖海，情罪原屈，欲改未及。遇有滿洲都統缺補用。著圖海補授都統。”可知順治帝反省此事，承認圖海是被冤屈的，所以留下遺言，待日後由新皇帝為他彌補。正是因為有了順治帝的這句話，所以康熙帝即位後，馬上就授予圖海正黃旗滿洲都統一職。
清兵入關二十年來，南明政權、大西、大順農民軍以及各地各階層的抗清鬥爭勢力，幾乎全部被鎮壓下去。這時隻有大順農民軍餘部在郝搖旗、劉體純、李來亨等率領下，據湖廣、四川、陝西三省交界地的隕陽荊襄一帶堅持抗清。清朝為統一全國，安定統治，決定消滅這塊抗清據點。
康熙元年（1662）九月，下令三省各抽調三萬綠營官兵，加上西安駐防八旗，實行會剿。麵對十餘萬眾的大敵，郝搖旗等組織農民軍聯合反擊。次年七月下旬於彝陵（今湖北宜昌）附近重創湖廣總督董學禮部。接著，又合師以七萬之眾進攻駐紮在四川巫山縣境的湖廣、四川總督李國英部，清軍戰事不利。八月，清廷決定再加強力量，任命圖海為定西將軍做為靖西將軍都統穆裏瑪的副手，率領禁旅從京師出發，取道荊州前往征剿。圖海至前線後與李國英、提督鄭蛟麟、總兵俞奮起、於大海等實行連營圍困。農民軍乘清兵立足未穩之際，以三千餘眾襲擊俞奮起營地，圖海得報即親自率兵迎戰，擊敗之。終因眾寡之勢懸殊，農民軍各部被圍困在湖廣興山縣一帶，相繼失敗。
十二月底，清軍攻破農民軍陳家坡大營，劉體純自縊而死。三天後農民軍另一據點黃草坪亦被攻下，郝搖旗等被俘犧牲。隻有李來亨獨據茅麓山憑險抵抗，清軍雖有二十萬眾卻接近不得。最後由於圖海等實行長期圍困，絕其糧道和聲援，農民軍處境愈加險惡。至康熙三年（1664）終於力不能支，李來亨下令燒毀山寨，闔門自焚而死。十月，圖海與穆裏瑪等下令將俘獲的六千餘名農民軍盡數屠殺，然後攜帶被俘的三千餘人口及八千餘名降兵班師。
康熙六年（1667年），圖海晉升為弘文院大學士，加世職為一等輕車都尉。九月，充任纂修《世祖章皇帝實錄》總裁官。
康熙七年（1668年）十二月，比利時人南懷仁劾欽天監監副吳明烜推算曆法差錯，圖海奉命同諸大臣同往測驗。後來，在康熙八年（1669年）七月、康熙九年（1670年）六月、康熙十一年（1672年）六月，他幾次受命同刑部審理重犯，皆稱旨，不但當時就受到康熙帝的稱讚，而且在幾十年以後，康熙帝還以圖海為例，讓刑部的官員向他學習。
康熙九年（1670年）改為中和殿大學士兼禮部尚書。此時他在大學士中又位列第三。康熙十年（1671年）晉居第二。康熙十一年（1672年）七月，加太子太傅。聲名複振，權勢顯赫。圖海以文武之才，幹練任職，卓有成效，而得到青年天子康熙帝的信任。