李家兄弟把袁方一行帶到香山主薄的府衙，這座公署就在澳門街上，澳門街是一條狹長的街，百年後被改為營地大街的商業街。
進到府衙袁方看到這裏的葡萄牙人比國人多，李家兄弟告訴袁方，他們是來這裏交稅的。
袁方問李元慶：“李主薄，你們一年能夠收多少？”
李元慶高興地答道：“早幾年我們收五百兩銀子，現在我們能夠收到兩千兩。”
袁方卻一臉的憂患，道：“這能明什麼？是不是他們從我大明運走的東西越來越多了？”
一旁的李元功解釋道：“袁大人您可能誤會了，他們所做的都是公平買賣，我們這幾年所增收的並不全部是葡人的稅金，有很大部分是議事會交給我們的合約費。”
袁方不明白了，問：“什麼合約？”
李元慶向袁方解釋，大明每年要向葡萄牙收取五百兩白銀，他們才能夠在香山澳住下著貿易，而且必須接受大明的嚴格管治，不能買賣土地，隻能夠單純地從事貿易活動。
李元慶還告訴袁方，現在大明允許他們在香山澳成立議事會，這個議事會是有他們的民政長、治安製事、貿易船隊長官和市民組成，這個議事會負責每年向大明繳納五百兩白銀，有香山縣設在香山澳的辦事機構負責收取，這個辦事機構就是李元慶在香山澳的主薄府衙。
袁方大概了解了香山澳目前的情況，現在這裏的主權還是大明的，並沒有發生租借給葡萄牙的事情。袁方心想，自己來了，就絕不允許香山澳被租借出去的情況發生。
他正在李元慶的主薄衙門裏喝茶，此時，李元慶的一個手下匆匆忙忙闖了進來。
“主薄不好啦！不好啦！”
李元慶喝道：“何事如此慌張？”
來人道：“回稟主薄，葡人派了一名總督過來，現在這個總督正在船上，我們的人攔著沒讓他下來，主薄你還是去看看吧！”
袁方問：“什麼總督？”
李元慶道：“六年前，葡萄牙任命了一個叫做卡洛告的人擔任我們澳門的總督，我們是堅決反對他們派什麼總督過來的，因為這個叫做卡洛告的人從未來上任，這件事就這樣不了了之了。誰想到這次他們又派了一個新的總督過來，我們正準備與葡方交涉，阻止他們派人過來，現在這人既然就來了。”
袁方又問：“現在誰在碼頭處理這件事？”
李元慶問他的手下：“是誰派你來稟報的？”
來人道：“是廣州府海防劉同知在碼頭上，他正在碼頭上看著那個葡人呢！”
袁方道：“李主薄，我們決不能讓那個所謂的總督上岸，這裏是我們大明的國土，不需要什麼總督來這裏指手畫腳。”
李元慶點頭道：“袁大人得是，我們現在就去碼頭上看看。”
袁方道：“我跟你們一起去！”
李元慶立即對李元功道：“帶齊你的人馬，一定要保護好袁大人的安全！”