竊取中國大門鑰匙是列強夢寐以求的。早在1853年9月7日，上海小刀會起義占領了上海縣城和江海關後，清政府對上海及海關的控製陷於癱瘓，作為江海關監督的蘇鬆太兵備道吳健彰逃入租界避難。本來一些外國商人就都存心拒絕繳付一切關稅，這時正好混水摸魚，大得其利，走私、逃稅、販運禁品。英國駐上海領事阿禮國見有機可乘，勾結美國駐上海領事實行了領事代征製度。當吳健彰在浦東、蘇州河等地設立臨時海關時，外國領事及外國商人一齊抵製。他們還不許吳健彰到原租界內的海關驗貨所執行公務。
在列強的壓力下，1854年6月29日，吳健彰與英、美、法三國領事會議決定由外國人作為道台征稅的助手，三國領事各派一人組成關稅管理委員會。英國人威妥瑪、美國人賈流意、法國人史亞實接受任命。掌握實權的威妥瑪雇用一批洋員代替海關征收關稅，查緝走私，奪取了上海海關管理權。一年後，李泰國代替威妥瑪任海關稅務司後，更想盡一切辦法來為外國商品侵略大開方便之門。於是，“這種製度已經可以把英國的名字和榮譽與信實聯係在一起，並且已經在北方（指廣東以北）給了我們一個卓越而日益重要的地位。”
雖然清朝政府並不情願將中國大門的鑰匙放到外國人的手裏，但是在戰船逼迫下簽訂的《天津條約》及附約《通商章程善後條約》中，不僅承認了上海海關行政大權的旁落，甚至還將延聘外人管理海關的製度推向全國，並以條約的形式固定下來。到1859年春，兩江總督兼五口通商大臣何桂清委派李泰國推廣上海製度，各口選用外國人的權利也交給了他。李泰國為保障英國在華商業利益，竭力建立由英國人控製的各地海關，同時也考慮到美、法等國對海關權益的覬覦。於是，他以英國人費士來為廣州海關稅務司，美國人華為士做汕頭海關稅務司。1861年總理各國事務衙門大臣奕訁斤接受英國駐華公使的推薦，正式委派李泰國為總稅務司。可李泰國因傷需要回國休養，在離華前並未征得清朝政府的同意便擅自指定赫德、費士來代理其職。1863年李泰國被解職後，赫德擔任總稅務司，從此掌握中國大門鑰匙40多年。
赫德不像李泰國那樣麵目猙獰，狂悖刁蠻，常以溫和禮貌的言談舉止來換取清朝政府官員的好感，因而深得奕訁斤的信任，與李鴻章的關係也很密切。起初海關總稅務司設在上海，從1865年起正式遷到北京，這樣赫德便可以憑他與清朝政府官員的關係，到處插手，為英國侵略中國效力。而這時全國已有14個海關，遍布南北各通商口岸，深入長江流域。有400餘名外國人和1000餘名中國人接受雇傭。它名義上是受總理各國事務衙門領導，實際上卻自行其是，長期被外國人把持。赫德起草製定的《通商各口募用外國人幫辦稅務章程》，對中國關稅大權被攫取後的海關內部人事、行政製度作了詳細規定，不啻是對中國海關長期控製的法律依據。各海關的外國雇員不僅一律由總稅務司直接委派，而且升降調遷也完全由總稅務司一人做主；各地稅務司處理地方事件的通信文件及平日所了解的各口岸貿易發展情況，必須經常向總稅務司報告。從而使總稅務司在中國海關擁有最高權力，使赫德具有了像一國元首那樣的權威。
赫德的確沒有使英國人失望。他利用職權，大量招募英國人，使英國人在中國海關中始終占有極大的優勢。而為了避免引起其他列強的不滿，產生爭端，他還煞費苦心地安排了一些法國人和美國人進入海關。赫德實行了華洋分班製度，歧視華人。華人在由外國人把持的中國海關內實際上隻能擔任巡役、聽差、司門、司夜、排印人等最低下的工作，長期與高級崗位無緣。而赫德的親屬、朋友則被紛紛拉入海關，受到特別關照和重用。除其弟赫政曾任稅務司外，內弟裴式楷也出任過中國一些重要海關的稅務司，後升任副總稅務司。裴式楷的堂弟裴式模曆任瓊州、鎮江、蕪湖、牛莊、宜昌、煙台、汕頭、上海等地稅務司，在海關任職也長達30年。赫德還安排其子卜魯斯任總稅務司秘書，企圖永久把持中國海關，隻是其子太不成器，才打消這個念頭。
盡管赫德有意識地加強了中國海關的所謂國際性，使之成為萬國股份有限公司，但隨著列強在中國競相擴張勢力，爭鬥不斷加劇，海關實際控製權成為各國關注的焦點。列強越來越清楚地認識到海關是控製中國經濟和財政的命脈，決定和影響中國社會政治的一大要素，誰握住中國海關大權，誰就能在中國所展開的角逐中處於有利的地位。因此，美國、俄國、法國等對總稅務司這一職位也是垂涎欲滴、躍躍欲試。為了保住這一職位，赫德幹脆放棄了升任英國駐華公使的機會。他認為海關是個潛在的中心，而頭等重要的是必須掌握在英國人手中，以保護英國廣泛的在華關係和利益。
利用清朝政府官員對海關懵然無知，掌握中國大門鑰匙的外國人，以欺瞞的手段哄弄清朝政府，使清朝政府財政收入大量流失。海關收入的15%被留作海關征稅工作的經費，這個數額大大超過其他國家經費支出。每年海關的罰款收入數額巨大，但是清朝政府卻從來都沒有得到過分毫。海關也從來都沒有發表過海關所保留的總收入15%支用的詳細情況，也沒有公布過海關所收到的噸稅及罰款的收支賬目。而海關對進出口外籍船舶的管理和輪船常年保結製度的實施，使外籍船舶包括兵艦自由進出，領事報關、擔保，有利於外國航商，推銷外國貨物。在驗貨估價、報關待遇、旅客驗放等方麵嚴重歧視華人。通過複進口半稅的實施使中國船舶難以同外籍船舶競爭，阻礙了中國民族航運業的發展壯大。海關除執行不平等條約規定的船鈔稅率，具體規定征免事宜外，還包庇、寬處外商的走私、漏稅等案件，為不法洋商提供便利。存票和保稅製度的確立也為外國商人向中國傾銷商品打開方便之門。
赫德等人以海關為據點，謀取與海關並無直接關係的特權。他們包攬了海務、港務，還把手伸向了引水、檢疫及氣象觀測。引水是一個國家保障港口、船舶安全的一項重要主權，屬國防機密。但赫德等人想方設法地用外籍引水員代替華人，把持中國各港口的引水。所以，漸漸地在遼闊的中國水域裏，很難見到一位華人引水員了。海關在控製京師同文館之餘，還兼辦郵政。本來在中英《天津條約》中就已經將對中國這一主權的漠視合法化。總稅務司遷到北京後，自行開辦郵政。海關除收寄各國使館、海關本身及部分地區外僑信函外，開始收寄華洋公眾郵件。赫德公開威脅總理各國事務衙門，如果中國自己不開辦郵局，就不能怪各國越俎代庖了。經過長時間活動，1896年光緒帝批準由海關兼辦郵政。從此，中國各地的民信局越來越少，而海關直接經營的客局卻大量增加。郵政權完全落入外國人之手。當清政府提出加入萬國郵政公會時，赫德以中國郵政尚未統一為由加以阻攔。