曾紀澤公使就是一路想著家族和自己的名聲，一路考慮如何不辱使命，像郭嵩燾一樣處理好艱苦的外交任務。1879年1月4日，曾紀澤跨越重洋經巴黎抵達倫敦，開始了駐外公使的生涯。
中國駐英使館處於草創時期，整個中國的外交製度和駐外機構都很不成熟。清朝官府的奢侈浪費和屍位素餐也轉移到了倫敦使館中。清朝官員有什麼事情向國內發報都是把口述稿一字不漏地發回上海，一句二十幾個字的話就需要白銀六七十兩，浪費很大。而國際通行慣例是將完整意思編號，用代碼發報，既規範又節省費用。曾紀澤在出使途中就考慮自編電報代碼，“思電報如此昂貴，擬撰集簡明句法，分類編列，以省字數，略具腹稿”。他仿照西方，組織編寫了電報代碼本，將成語分門編輯，列號備查，規定公牘私函都照此發報。
公費醫療是清朝使館的第二個弊端，而且享受公費醫療的範圍還很大，除了使館工作人員外還有留學生。不花錢的藥用起來不心疼，使館用藥巨大，有些人身體好好的卻領了大量補藥，大補特補，造成使館巨大的財政負擔。曾紀澤製定了《使館醫藥章程》，規定所有的藥都需要病人自費購買，同時限製用藥數量。為了解決真正病人的醫療問題，使館的藥價普遍低廉，讓病人承擔得起。如此一來，使館負擔減輕了，病人也得到了治療。
完善使館製度的同時，曾紀澤積極展開對英國外交，而且他也是民間外交的先驅。滿口流利的英語讓他與外國外交官、學者、對中國感興趣的普通民眾都保持聯係。他出入劇院、博物館、圖書館、私人宴會等場合，向歐洲人介紹中國。曾紀澤是第一個用個人名義、用英文公開發表文章的中國外交官。《中國先睡後醒論》（China， the Sleep and the Awakening）在倫敦《亞洲季刊》1887年1月號上發表，曾紀澤闡述了對殖民的看法，談了中國必將崛起的意見。借助廣泛的聯係和不錯的聲望，曾紀澤在鴉片貿易問題上為中國爭取了權益。19世紀80年代，英國興起了禁煙運動，清政府也想提高輸華鴉片的稅收。曾紀澤借助英國禁煙運動的聲勢，與禁煙協會保持密切聯係，終於在1885年迫使英國政府同意鴉片稅在原來每箱30兩的基礎上加征厘金80兩，稅厘並征110兩。
因為成績顯著，曾紀澤在1878至1885年間先後出任駐英兼駐法、俄等國公使，是歐洲人最熟悉的中國外交官。
但是曾紀澤並沒有遇到真正的難題，取得的成績多半是在辦公室動動嘴皮子、寫寫規章製度取得的。和曾紀澤在許多政見上意見相左的海關總稅務司赫德就認為他“隻是從他能幹的父親那裏繼承下一個偉大的名聲而已”，未必能處理好棘手的難題。曾紀澤真的是這樣的人嗎？1880年，考驗終於來了。崇厚白紙黑字，白白葬送了大把國家權益，遭到了舉國反對而身敗名裂。朝廷要派人去改立新約。如果說崇厚是去虎口奪食，那麼新人就要去與虎謀皮了。朝廷上下無不認為再次談判“其責倍重，其勢尤難”，“其難較崇厚十倍”。
任務如此艱巨，派誰去呢？大清朝也在為人選的問題犯愁。之前去虎口奪食時，就有人提議讓曾紀澤去，但因曾紀澤資曆太淺被否決了，改派了資曆很深的盛京將軍崇厚。現在崇厚明顯不行了，曾紀澤成為了頭號人選。
曾紀澤在巴黎接到聖旨，總理衙門正式照會俄國已正式任命曾紀澤兼任駐俄二等公使；曾紀澤將赴俄都重談伊犁問題。
臨危受命，曾紀澤當然深知，崇厚簽約在先，自己受命改約在後，此行是欲障川流而挽即逝之波，探虎口而索已投之食，事之難成已可逆睹。沙俄會有什麼動作，難以預料，一旦談崩了兵戎相見，對大清國更加不利。使命艱巨，曾紀澤臨行前甚至給叔叔曾國荃寫信，安排了自己一旦殉國的後事。他留下一句被後人反複引用的詩句“倉促珠盤玉敦間，待憑口舌鞏河山”後，慨然前往聖彼得堡。