這棟城堡在第一任主人出事之後，被當時的一個富有的商人買下，商人倒是正經商人，從事油料運輸，在他買下這棟城堡之後，花費巨資進行了裝修，然後帶著一家十幾口人搬進了城堡。結果剛剛搬進去的第一天，一家人就不知為何神秘失蹤，就好像第一任主人一樣，活不見人死不見屍。
接著就是第三任主人，一個葡萄牙海軍軍官。當時葡萄牙人是海上馬車夫，那位海軍軍官也是出身名門，他奉命來這裏開拓航路，一眼就看中了灰石堡。這座矗立在懸崖上的城堡，既像一個堅固的軍事堡壘，風景又極為美妙，除了視野良好之外，周圍綠樹成蔭，遠處海浪滾滾，是一處不可多得的居住地。葡萄牙軍官當下拍板買下了灰石堡，還娶了一位當地姑娘，在灰石堡裏舉辦了婚禮，結果一個月之後軍官出海，在海上遇到當時著名的海盜“黑胡子”，落得船毀人亡葬身大海的下場，而他的新婚妻子，在軍官慘死之後，最終也落了一個神秘失蹤的結果。
城堡的第四位主人，是那個海軍軍官的親哥哥。他來接收這棟城堡之後，也不知道城堡發生了什麼，在住了一個月之後，匆忙將城堡出售給一個商人，然後匆匆返回葡萄牙，在一個月之後，他暴斃家中。
而那第五人主人，一個從事橡膠生意的商人，在買了城堡的第一年之後，大兒子慘死在土匪手裏，第三年，小兒子因為工地腳手架脫落被砸得半身不遂，他自己在第五個年頭，因為踩滑了地板，從城堡三樓摔下，當場暴斃。
從此以後，這座城堡就染上了“詛咒之屋”的惡名——除了第一任主人一直平安無事居住到了晚年之外，剩下的連續四任主人，都是死於非命，最後那位商人的遺孀將這棟城堡掛出了很低的價格，不過一直沒有人來接手。因為大家都盛傳這棟城堡因為是建立在奴隸的血肉上的，這裏不知道累積了多少奴隸的亡魂，除了第一任的奴隸主之外，其他人身上都沒點血腥味，鎮壓不住這裏的亡魂，所以灰石堡雖然好，但一直沒有人來居住，到後來，那位商人的遺孀甚至也搬離了城堡，這棟城堡正式成為了孤魂野鬼的遊樂場。
傳說有人在這裏看到過吉普賽人，看到過僵屍，看到過亡魂……總之在之後長達百年的時間裏，這棟城堡無人問津。
一直到了矮子古茲曼出現。
古茲曼，綽號矮子，世界頭號通緝犯，世界上勢力最強大的毒販，鼎盛時期，他的資產約200億美元。他曾經兩次從墨國的高安全級別監獄成功逃獄。
在80年代，古茲曼從那位商人的後代手裏，將灰石堡買了過來。
他覺得他能鎮得住這裏的“冤魂”，在他買入城堡，大張旗鼓搬進來之後，很多人都在等著看他的笑話，可事實證明，不管這裏有沒有“冤魂”，古茲曼真的鎮得住，不僅鎮得住，而且他自從搬到灰石堡之後，一路順風順水。
古茲曼可能是真命硬。
他出生在墨國“三角洲”樞紐位置上的“毒品之鄉”巴迪拉瓜托市。他的家人和當地許多農民一樣，都以種植大.麻和罌.粟為生。而墨國絕大多數的毒販，都來自巴迪拉瓜托所在的錫那羅亞州。
和黑手黨的發源地西西裏人比起來，巴迪拉瓜托人更遵守
沉默法則。正因如此，關於古茲曼的過往，包括他自己在內的大部分人都不願意提及。不過可以確定的是，古茲曼家境貧寒，年幼時還曾在街頭販賣水果。
20世紀80年代，年輕的古茲曼投身於墨西哥黑幫“教父”加拉多門下，一路晉級，成為內部高層。加拉多係警察出身，曾成功吞並了錫那羅亞的大小毒販，創立了著名的販毒集團“聯合會”。但在1989年加拉多被捕後，他的勢力便逐步瓦解了。這時，古茲曼和親信趁機奪權，搶得墨西卡利市的越境通道，這裏是墨國向花旗國販毒的一條“黃金通道”。這也讓古茲曼一夥的勢力一舉超越了其他組織。
作為80年代末期當地有名毒販的侄子，古茲曼親身經曆了販毒集團運營模式從老式的“有社會基礎的農場主集團”到現代“使用軍事手法屠殺，雇用經濟學家和律師包庇”的轉變。30年後，他從一個半文盲農民搖身變成觸手涉及48個國家、全球最大罪犯團夥錫那羅亞販毒集團的首領。
在獲得了加拉多的大部分產業後，古茲曼的勢力逐漸龐大，古茲曼不但把舊的業務越做越大，還開創了全新的運毒方式。古茲曼修建了一條集通風、電力和軌道於一體的秘密地下通道，把毒品神不知鬼不覺地從墨國偷運到花旗國。
所以古茲曼住進灰石堡沒有出事之後，大部分人都開始更畏懼他，因為根據傳說來看，隻有他和第一任主人，那個血債累累的奴隸主沒有出事，而他們兩個最大的相像，就是手上都沾滿了鮮血，都是殺人不眨眼的狠人。古茲曼聽到這些傳言，當然更加高興，有什麼比一個毒販聽到所有人都懼怕自己更感到高興的事情呢？