由此可知，黑龍江將軍並非自古就有，而是到了清朝隨著東北局勢的變化而出現的。當時隨著滿洲八旗入關，大部分人都遷到了北京和其他中原地區。作為滿族龍興之地的東北，隻有少數駐防軍隊和土著居民。黑龍江地區剛開始由留守盛京官員管轄，後又由吉林官員管轄，至康熙二十二年才設立平行於盛京和吉林的地方機構。今天黑龍江東部的牡丹江流域及鬆花江下遊廣袤的地區，當時還屬吉林管轄，稱三姓副都統統轄區。所謂三姓就是指赫哲族盧業勒、葛依克勒、胡什哈哩三族領地。大致相當於今天的依蘭城。
“依蘭”在滿語中的意思是“三”。到了近代，沙俄趁火打劫，1858年，通過《中俄璦琿條約》，割占了清朝外興安嶺以南、黑龍江以北的60多萬平方公裏的領土，使黑龍江從一條內河變成了中俄之間的界河。1860年，沙俄又通過《中俄北京條約》強占了清朝烏蘇裏江以東40多萬平方公裏土地，最終形成了後來黑龍江省的地域格局。
設立將軍鎮守製度是清朝管理邊疆地區的重要舉措，對鎮守邊疆和開發邊地發揮了很大作用。康熙二十二年十月二十五日，康熙皇帝下令，以薩布素補授鎮守璦琿等處將軍，調補侍郎溫岱為璦琿等處左翼副都統，授給事中雅齊納為右翼副都統。就這樣，黑龍江將軍衙門設一將軍、二副都統。
康熙三十三年，黑龍江將軍衙門始設四司。兵、刑二司歸屬右翼副都統管轄。戶、工二司歸屬左翼副都統管轄。黑龍江將軍衙門的內部機構由印務處、兵司、工司、刑司、戶司和銀庫等機構組成，秉承將軍意圖，處理日常事務。
關於黑龍江城及將軍駐地，有一個演變過程。
清朝政府為進一步鞏固邊陲統治，於康熙十三年(l674年)在黑龍江左岸精奇裏江口，即明代的忽裏平寨舊址興建了璦琿城，史稱“舊璦琿城”(現今在蘇聯境內，易名為“維謝雪村”)。康熙二十二年十月在璦琿城設將軍衙門(衙署亦在此地)。黑龍江將軍初駐璦琿城(舊璦琿城)，終因該城僻處江東，與內地交通、公文往來等均有諸多不便，加之沙俄又對黑龍江進行騷擾與入侵，遂於康熙二十三年(1684年)七月，由鎮守黑龍江等處將軍薩布素等經清政府批準，修建新璦琿城（城址在今黑河市璦琿鎮）。璦琿城造完後，將軍、副都統等隨之移駐。因新、老璦琿城都緊鄰黑龍江畔，亦稱為“黑龍江城”。
康熙二十九年(1690年)，黑龍江將軍移駐墨爾根城。康熙三十八年(1699年)由墨爾根城移駐齊齊哈爾城，從此長駐於此。直至光緒三十三年（1907年），裁將軍衙門為行省，改將軍為巡撫。
黑龍江將軍最初為正一品官（乾隆年間改為從一品官），是鎮守黑龍江地區的最高軍政長官。其職權包括均齊政刑，修舉武備，綏徠部族，防戍邊陲。舉凡旗務、兵備、防務、民刑、墾務、租賦、課稅、官學、打牲、官莊、驛站及滿、蒙、漢學堂等等，全在其掌管之中。其職權與中央吏、戶、禮、工、刑、兵六部對應，軍令則直接聽命於皇帝，對皇帝負責。統領水師營、火器營及各地的官莊、驛站。分駐於黑龍江城、齊齊哈爾城、墨爾根城、呼蘭河城、布特哈、呼倫貝爾等地的副都統、總管、城守尉、防守尉、協領、參領、佐領等以下八旗官兵皆聽命於將軍。
黑龍江將軍位高權重，轄區遼遠，加上鄰近沙俄，邊防吃緊，委任非人後果嚴重。康熙皇帝經過再三考量，選中了薩布素。