話說葉漢的賽馬車生意紅火了一陣子後，由於場地遠離鬧市，前來澳門的一般賭客漸漸失去興趣，加之港澳人士覺得賽馬車節奏太慢，不夠刺激，另外，還受到香港每周兩次賽馬的影響，許多香港賭客感到顧此失彼，遂放棄澳門賽馬車的下注。看到這個情況，葉漢的對手賀明高總算鬆了口氣，這正是他所希望的。
馬車會虧損厲害，開銷龐大。葉漢為了麵子，必須堅持下去。葉漢決定退出娛樂公司，與賀明高徹底脫離關係。
為了集中財力挽救危機重重的賽馬車，1982年，葉漢把他在娛樂公司的所有股權，以三億港元的價格套現，轉讓給香港商人鄭裕彤。
鄭裕彤加入娛樂公司，澳門博彩業進入了一個新的曆史時期。霍英東雖是最大股東，但他和鄭裕彤、鄢之利這兩個小股東一樣，隻管拿錢，不管賭場的具體業務，澳門賭業經營大權完全落在賀明高一個人手裏。
葉漢退出了，娛樂公司內部再也沒有人跟賀明高爭奪權力，賀以一家之主的姿態，更加廣泛地博取民心和澳門政府的青睞。1982年，他個人捐資2000萬元，興建澳門新口岸體育館；同年12月30日，賀明高與澳府第四次修訂合約。
有人歡喜有人愁。賀明高春風得意之時，葉漢的賽馬車生意卻每況愈下。盡管他作了很大投資和努力，但投注額一直不盡人意。到1983年，已跌至6000萬元；1984年更慘，隻有4400萬元，使得賽馬車公司連年嚴重虧損。
葉漢不甘心，他不能讓賀明高笑話他，就像一個輸紅了眼的賭徒，不斷追加投資，想盡招數。
1986年8月，澳門賽馬車會成立四周年之際，葉漢專程從泰國請來四麵佛銅像，供奉於馬場，希望菩薩顯靈，保佑他的生意興隆。
然而，麵對賽馬車會的現狀，佛祖也無能為力，偌大的氹仔島賽馬車場每天照舊門庭冷落車馬稀……
這時候跟隨他多年的羅治國埋怨道：“漢哥，其實當初你萬萬不該退出娛樂公司的，現在霍英東、鄭裕彤、鄢之利他們可發達了，錢幾輩子都花不完。”
葉漢罵道：“不開竅的東西，人活著難道就是為了錢？”
羅治國道：“聽人家講，他到處散布謠言，說你本身就沒什麼本事，如果娛樂公司繼續放手讓你打理，也會是今天賽馬車會的下場。”
這些不啻於在葉漢的傷口上抹鹽，他皺眉問道：“他是這樣說的？”
“那還有假？”狗仔道，“他還說你不僅沒有本事，還要硬逞能，占著位置不願退，他看不過，怕公司垮掉，才不得不出麵打理賭場。還說他的冤正沒處申，幸好你搞了個賽馬車會，是驢子是馬，現在就見分曉了……”
葉漢瞪大眼睛，朝地上啐痰，罵道：“丟他老母！”
1986年9月29日，賀明高與澳府第五次修訂合約。
合約修訂之後，春風得意的賀明高接受英國廣播公司（BBC）的電視采訪。
這個采訪節目播出之後，在賭業人士中間產生了強烈反響，葉漢的朋友安娜妮看到了這個節目，打越洋電話詢問葉漢是否看到了，並複製一盤寄給葉漢。
在這個節目中，賀明高大談特談他的生意經，當記者詢問葉漢為何退出娛樂公司時，賀明高說，葉漢是一個過了時的舊賭徒，思想和眼界仍停留在二三十年代，極力反對公司的現代化改革和新技術的引進，雲雲。
葉漢看罷，大動肝火，請來澳門新聞界人士，對賀明高的言論進行駁辯。
不久，又有朋友寄來一本由BBC記者寫的賀明高傳記，書中說，世界上最賺錢的有6個人，賀明高是其中之一。裏麵也自然少不了葉漢這一角色，說葉漢在娛樂公司時，把賭場搞得一團糟，不肯引進新技術和現代管理方式，他手下的荷官對客人毫無禮貌，搶客人的茶錢……
葉漢再也忍不住了，找來律師鄧成高，控告賀明高無中生有，誹謗他的名譽。賀明高立即托頭麵人物向葉漢求情，除表示歉意外，拿出50萬元律師費，願以此了結。葉漢才不再追究。
見葉漢那副自得的樣子，狗仔不滿道：“漢哥，這輩子你最大的缺點是心腸太軟，你吃虧也是這點。如果當初你一口回絕鄢之利的要求，怎會留下今天的後患？”
葉漢歎道：“我也承認自己心腸不夠狠毒，可這是從娘肚子裏帶來的天性，改變不了。”
“改不了就得吃虧到底。”狗仔道，“公司撐不下去了，弟兄們的日子怎麼過？當初你若不是頭腦一時發熱退了股，起碼你還可——”
葉漢瞪起眼道：“什麼‘當初’？是不是當初所有進了口袋的錢都不要出去？虧你還是賭徒，連這道理都不懂！賭博本身就是一種人生經曆，這種經曆的精髓就是永不言悔！你轉告弟兄們，跟著漢哥日子不用愁，輸了還能贏，我不會餓死他們的，當初在上海連那種日子都熬過來了，何況是現在！”
盡管葉漢頗有大家風度，但賽馬車公司最終還是垮了。營業情況以每年虧損1億元的數字發展，到1988年1月30日舉行最後一場賽馬車，葉漢共虧損10億元。
按葉漢與澳府所簽的專營合同，假如電腦記錄的總下注額每年少於15億元葡幣，則免繳博彩稅。自馬車會開業以來，每年總投注額從來沒有超過15億元，也就是說，葉漢從沒有向政府繳過稅。葉漢決定將馬車會賣盤。
對這次的慘敗，葉漢並不忌諱，公開對一些捕捉名人新聞的小報記者說：“我見北歐賽馬場免費送飲料都無人光顧，以為不行，後來才知道，原來北歐整天下雪，跑馬整天失蹄，便無人賽馬，賽馬車就不會失蹄，所以在北歐大受歡迎。但澳門與北歐不同環境，賽馬車引不起人們的興趣，這就失敗了。”
記者又問：“賽馬車會失敗了，娛樂公司你也早已退出，請問葉先生日後將打算幹些什麼？”
葉漢環顧左右的手下，想了一會說道：“我目前還來不及考慮這問題，但有一點我是很自信的——葉某一定能弄出新鮮事來。我喜歡創新，實際上娛樂公司現有的項目，都是我最先引進的，賀明高說我保守，這簡直是無稽之談，就為他這句話，我仍然不會退出賭壇，還要坐在他的對麵玩幾‘鋪’新鮮的。”
這時候下人送來了報紙，一會有人看罷驚叫：“漢哥，這裏有人說你已經窮途末路了！”
葉漢接過一看，一個標題赫然入目：“鬼王葉漢山窮水盡？”