楊霖先是給李密修書一封，將翟讓禍禍得滎陽連種地的人都湊不齊的事向李密猛吐一槽，然後對因為自己的思慮不周而給魏王殿下帶來的困擾深表歉意，並表示今後將在雙方邊境嚴加盤查，凡是未經魏王許可擅自入境的逃民一律遣返，最後還奉上刀萬柄、羊千頭作為補償。關於免稅的事楊霖連提都沒提，至於那點賠償都是他從河東淘來的突厥破爛，再加上一倍他都不心疼。
對翟讓他就沒這麼客氣了，直言你管不好自己的百姓以至逃亡關老子屁事，對他的武力威脅置之不理。話說此刻翟讓重兵集於魯郡，正對著宇文化及磨刀霍霍，怎麼可能再千裏迢迢的掉頭對付滎陽？不過是虛言恐嚇罷了。
其實楊霖深知翟讓和李密的這番大驚小怪目的根本並不在那點逃民。連綿不絕的戰亂確實讓生民遭殃，死難的、逃亡的不計其數，可是華夏民族在這片大地上生存繁衍了幾千年，什麼都缺過，就沒缺過人。翟讓在自己的地盤上半個月就搜羅到三萬新兵，李密把蒲山公營擴充到十萬人，可是偌大個外軍還有近三十萬號歪瓜裂棗等著他挑揀，一想起這事李密就愁得牙疼。有人會問了，百姓不光是兵源，還是財源，起碼能種糧食啊？可問題是在群雄割據的年代，有誰是靠收取百姓稅賦發家的？大家都是靠搶的好吧……至於糧食，楊堅楊廣父子倆攢下的家底在前世一直吃到貞觀年間還沒吃完，老百姓可能挨餓，翟讓和李密之流的還能缺了糧食？
他們之所以把逃民當個事，還特意修書問詢，主要還是摸不準楊霖的想法。這小子向來詭計多端，他倆生怕著了他的道，另外就是百姓外逃讓他們丟了麵子。楊霖給足了李密的麵子，而且現在二者的利益大於分歧，所以他也就對此事不聞不問了，至於翟讓，三方盟約墨跡未幹總不能現在就翻臉，所以幹脆把一腔怒火都發泄到了無辜的宇文化及頭上。
一場小風波過後，楊霖繼續把全部精力投入到拐買人口大業上來。問題是現在翟讓派來了他的死對頭翟摩侯嚴守邊境，連隻蒼蠅都不讓過，凡是私逃偷渡的一律格殺勿論，而李密那邊又不好明目張膽的得罪，他便將目標對準了東都。
話說現在滎陽和東都名義上都屬大隋治下，大隋律雖然也有明確的條款限製百姓流動，但是限製畢竟不是禁止，總是有的是辦法囫圇過去，而且楊霖那個早就掛掉的親老子楊玄感在無形中還幫了他一個大忙。想當初楊玄感在東都起事之時，一口氣砍死了七十多個不肯附逆的大隋忠臣，僥幸活下來的也紛紛逃往外地，現在還留在東都城裏陪著越王楊侗的不是牆頭草就是趨炎附勢的小人，屈突通又隻是個廝殺漢，對於民治一竅不通，百姓是走是留他根本就不在乎。於是乎楊霖憑借著收買賄賂、恐嚇威脅等手段軟硬兼施，再加上單憑東都一地不足百萬的百姓要養活無數權貴和十幾萬大軍，早就不堪重負，所以楊霖稍一招攬，不過月餘的工夫就有十幾萬百姓逃進了滎陽。
滎陽本地的無地百姓，再加上楊霖從河東帶來的、外地拐來的，加起來有好幾十萬，他坑蒙拐騙來的土地就不太夠分了。怎麼辦？楊霖二話不說，點起一萬軍馬，領著十幾萬百姓就要跑去襄城討生活。
臨走之前，他還分別向江都和東都各打了一份報告大吐苦水，說他楊霖為了大隋從瓦崗逆賊的虎口中奪食，拿下了滎陽。可是滎陽地小民稀，不足以養活他的十萬大軍，更不足以抵擋瓦崗賊的虎狼之師，所以他呈請朝廷要麼允許他與屈突通換防，用左驍衛的精兵替換他與瓦崗賊對峙，要麼就把襄城、淯陽、南陽劃歸他的防區，從而擴大稅源以養精兵。否則他楊霖一沒錢二沒糧可擋不住瓦崗軍，隻好一走了之。
想當初楊廣出征，留越王楊侗坐鎮東都，實則是讓他統領河南。問題是瓦崗軍這麼一崛起，整個河南中東部幾乎盡失，現在還打著大隋旗號的就剩下西部的河南、弘農、上洛、淅陽、南陽、淯陽六個郡和半個襄城。問題是越王楊侗不過是個十歲的孩子，手下名臣良將盡失，軍權被屈突通獨掌，雖然這老兒未露反跡，卻也不怎麼聽話。而政權則盡操於被稱為“七貴”的大族之手，這些家夥除了爭權奪利，就隻會往自己兜裏猛撈錢，而且西部諸郡基本都是這些大族的傳統勢力範圍，自然輕易不許他人置喙。所以在河南越王的政令不出東都，對西部諸郡基本沒有控製力，更收不著幾個錢、招不來幾個兵。
“七貴”本就對楊霖蠻橫無理的將其在滎陽的土地一舉沒收而憋了一肚子氣，隻是暫時奈何他不得罷了。如今眼見楊霖又把手伸進了襄城、淯陽和南陽，那還有個好？還不得再度把他們的家底折騰個空？於是“七貴”集體上書越王楊侗，聲稱楊霖名為隋臣實為隋賊，要求越王命令屈突通遣大軍驅逐楊霖，收複滎陽失地。