但是，盛極必衰，由於鬆浦隆信在通商的同時允許歐洲人布教，使平戶本土的佛教徒對歐洲外來的宗教越來越不滿。隨著平戶天主教徒的不斷增多，對此十分反感的平戶佛教徒們開始不斷尋釁滋事，而領主鬆浦隆信則表現得優柔寡斷、絲毫未加幹涉，導致雙方的對立情緒日益加深。永祿四年（1561）八月，一些葡萄牙水手與平戶町民發生激烈衝突，結果葡萄牙船長及以下十四人被殺，釀成了最初的涉外暴力事件。在國內壓力之下，鬆浦隆信不得不逐漸將一些葡萄牙傳教士驅逐到領外。
鬆浦隆信的裁決令葡方大感不滿，葡萄牙的布教長托雷斯憤怒地斥責鬆浦隆信背信棄義，開始勸說葡萄牙船隻不要再停靠平戶港，斷絕了與平戶的貿易往來，轉而南下前往大村氏領內的橫瀨浦尋求通商機會，這讓大村純忠大喜過望。
大村純忠非常痛快地答應了葡萄牙人的開港要求，並提供了相當優厚的條件，他將橫瀨浦港口周圍三裏範圍之內的土地和農民交給天主教會使用，凡不願信教的佛教徒一律遷走，同時，在當地貿易的商人可免除十年賦稅。這樣，橫瀨浦異常迅速地繁榮起來，托雷斯神父甚至在當地舉行了盛大的複活節儀式。一時間，平戶、博多、山口乃至於京都的商人在聽說橫瀨浦開港後紛至遝來，大村純忠由此在當地專門配置了一名奉行，以便及時聽取傳葡萄牙教士們的意見。此後，他自己幹脆也皈依了天主教。
永祿七年（1564），由於大村純忠的橫瀨浦開港，商業的中心開始由平戶轉移到了大村純忠的領地。至此，平戶大名鬆浦隆信與歐洲人之間的貿易開始逐漸衰退。
就在鬆浦隆信與歐洲人的貿易出現嚴重問題時，他通過王直與中國沿海和東南亞的貿易也出現了嚴重問題。
平戶市內所建造的王直像。
當時，王直在平戶自封為“徽王”，他率領日本浪人多次攻打中國沿海，在江浙閩粵地區燒殺擄掠，要挾明朝朝廷開放海禁。
係列瘋狂的舉動後，王直在1557年被浙江總督胡宗憲誘捕，1559年被明朝政府殺死。
在中國正史中，王直是禍國殃民、投敵賣國、助紂為虐的倭寇首領，是抗倭名將俞大猷、戚繼光的主要對手之一，然而對平戶的鬆浦家族以及整個日本民族來說，王直卻是帶領他們進入大航海時代的領航者。今天，在位於長崎縣平戶市日本鬆浦史料博物館外站著一座不足1米的銅像，他就是改變平戶與日本曆史的中國人王直。
王直被處死後，鬆浦隆信通過王直和中國大陸的貿易通道受到了極大影響，利益越來越少。
“沒有了王直，就要想辦法在中國人中間尋找王直的替代者，隻有這樣才能使平戶恢複往日的繁榮。”平戶藩三代大名鬆浦隆信、鬆浦鎮信、鬆浦隆信（與爺爺同名）祖孫三代始終抱著這樣的信念。
當鬆浦隆信的兒子鬆浦鎮信（1549——1614））從豐臣秀吉處拜領了朱印通商證書後，開始大力開展對外貿易。他一生致力於發展平戶港的貿易，他在任內把對外國際貿易發展成了平戶藩經濟的重要來源。他為西班牙商船的進港作出了積極的努力，並在平戶興建了荷蘭、英國商館。在這種良好的氛圍下，鬆浦家從平戶港上得到了巨大的經濟利益。
知識放大鏡
豐臣秀吉，1590——1598年期間日本的實際統治者。他是日本戰國時代末期封建領主，是繼室町幕府之後，完成近代首次統一日本的日本戰國時代大名。
1614年，鬆浦鎮信死後，鬆浦隆信的與他同名的孫子繼承了父祖的海外貿易事業。
此時，王直和鬆浦隆信、鬆浦鎮信父子這三個日本對外貿易史上的重要人物都已經離世，但日本與中國的貿易並未禁絕。後來，中國的海禁時而趨緩，更多中國商人逐利於東海與南海之上，有時，他們乘著商船與日本交通，與歐洲商人貿易。