鹹豐元年六月初二日，早朝。5Cｃｃ.ＮEＴ
養心殿內煙氣繚繞,檀香的香氣正弄，兆華深深得靠在龍椅的靠背上，閉著眼睛，昏昏欲睡。滿漢臣工們都默默地站在那裏，良久，領班軍機大臣，體仁閣大學士祁俊藻出班奏到：“方才幾位大人說得都有道理。但微臣以為將對西洋諸夷之事務集中於一部並無不妥，這樣就省去了兩廣總督、禮部和理藩院很多瑣事，這樣便於他們集中精力處理更重要的事情。”
原來，早朝一開始，兆華就讓大家討論設立總理西洋諸夷事務衙門的事。大臣們有人認為可行，有人為不行，爭吵不休。認為可行的說，西洋諸夷凶殘狡詐自當專門成立衙門進行羈縻，現在通商、納貢、冊封等事務分在各部管理，不利於協調統一。認為不行的說，西洋諸夷實乃化外生番，允其通商貿易已是莫大的恩惠，若再為此專門設立一衙門實屬勞民傷財之舉。
聽著大家爭論，兆華無奈的心情油然而生，他發愁如何才能讓那些把英國、法國、美國視為化外生番的書呆子們醒一醒，睜開眼睛看看這真實世界。
祁俊藻覺得皇上提出此事一定是經過了深思熟慮，看到大臣們爭論不下，皇上不好拿主意，於是出麵做了總結性發言。於是便有了開頭的那一句話。
在定下設立總理衙門之後，便開始討論細節問題。徐繼佘先把他的意思說了一下。其實徐繼佘的意思也就是兆華的意思，因為所有細節問題徐繼佘已於前一天單獨進宮彙報過了。
該衙門定為從三品和九卿平級大家都沒有意見，畢竟之前和這些逆夷打交道的兩廣總督、禮部、理藩院都是從一品的衙門。至於人員和費用也沒人反對，古代中國的大臣們普遍對數字沒有概念。
唯一引起爭論的是該衙門設在哪兒辦公的問題。徐繼佘雖然對西方有所了解，但“中華為夏、四方為夷”的夷夏之辨還是深深影響著他。他壓根就沒想過要把衙門設在京城，他擔心夷人出入京城會嚇到老百姓，或者對皇上的安全不利。他的打算是設立在上海，但在和兆華商量之後改為了天津，兆華的考慮是天津距離北京較近，信息傳達更為方便快捷。
當徐繼佘說出要把總理衙門設在天津的時候，遭到大臣們的群起反對，這些人的所持之論歸納起來是：“天津與京城僅一隅之隔，朝發夕至，夷人來來往往恐京畿民心不安。５cｃｃ．neｔ且天津素為京城海上門戶，每歲之漕糧半數於此處輸入。待夷酋來往天津，查津門之形勝而覬覦其商利，提出增開此口，徒給朝廷增事端矣。”
應該說這種觀點是很有道理的，天津作為北方最主要的港口，無論英國人還是美國人都早想著“增開此口”。若將衙門設在天津，英國人難保不會耍弄伎倆，在此製造事端，繼而提出開埠的無理要求。想到這裏兆華有些後怕，慶幸聽了聽大家的意見。
撇去天津，隻剩下上海和廣州作為備選。由於上海新近開埠，且夷人大量聚居於此，最後將衙門設在上海成為主流意見。於是兆華就順應眾議，宣布將總理衙門設在上海。至於首任總理大臣的人選，大家都看出來兆華對徐繼佘這位“崇夷派”情有獨鍾，所以即便心裏不以為然，卻也沒敢公開反對或者提出其他人選，更沒有人自告奮勇去擔任這費力不討好的差事。
就這樣設立總理衙門的事情通過了朝議，徐繼佘也名正言順的成為首任總理衙門大臣。盡管此時的總理衙門還隻是個從三品的小衙門，甚至不如地方上臬司衙門的級別高，但徐繼佘的興奮之情卻溢於言表。對他這樣一個曾經署理過閩粵總督，見識過無數官場黑暗的中國真正的士大夫來說，功名利祿早已是過眼煙雲不足為道。如今兆華能以識人之明將其加以重用，給了他一片能放手施展自己才華的舞台，這才是最重要的。
“當皇帝任命他為首任總理西洋諸國事務衙門總督時，他那顆與生俱來的充滿憂患和不安的心靈終於得到了安頓。這一點從我和他的談話中也可以看得出來。不過，時至今日我依然無法真正理解中國士大夫階層那種特有的憂患意識，仿佛他們天生就有保護國家和人民的義務，即便他們本身已經一無所有。按照衛三畏神父的觀點，這是由東方特有的儒家文化所造就的，我願意認同此說。”【節選自《阿禮國爵士回憶錄——我在中國的歲月》英阿禮國著劍橋大學出版社1874年第一版】