而呂不韋接到秦王令其遷回洛陽的消息，隻是暗暗歎息，看來嬴政還是擔心自己與趙姬重修舊好。但是事到如今，回到封地又何嚐不是最好的一條歸路呢？
呂不韋為秦相12年，在內主持國政，在外攻城伐地，聲名大振於寰內，歸附者如過江之鯽。而今回到洛陽，仍有不少賓客集聚在他的門下聽從他的號令。而六國諸侯聽聞呂不韋已然被罷免了丞相回到封地，立刻欣欣然派來使者，邀請呂不韋來本國為相。一時之間呂府賓客盈門，這自然又引起了嬴政的注意。
以嬴政殘暴的個性而言，若是他人，恐怕早就殺之而後快了。無論他怎麼看待他與呂不韋之間的關係，在處置呂不韋的問題上，嬴政其實是手下大大留情了的。他把呂不韋送回封地，雖然喪失了權力，但是呂不韋可以享受封地的食邑，足以安度晚年了。但是無論是出於哪方麵的原因，呂不韋高調了起來，他不隻高調，還召來了敵對國家的使者要邀請他入國為相。這是嬴政絕對不能容許的，呂不韋執政十二年，秦國有不少臣子大將都是被他提拔起來的，對於秦國的國情他也知之甚多，若為政他國，必將為秦國帶來莫大的災難。盡管嬴政的情感和理智都告訴他呂不韋不可能叛逃，但是嬴政卻不能讓自己冒這個他冒不起的險！嬴政夜不能寐，於是便寫下一封信令使者送往洛陽，交給呂不韋。
呂不韋收到嬴政來信，大為驚奇，他展開信件，信中所言，大致為：“你對秦國並沒有立下什麼大不了的功勞，但是秦國還是賜予你十萬戶食邑！你和秦國並沒有什麼親緣關係，但是寡人還是尊你為尚父！秦國回報你的，不可謂不多了！嫪毐之亂，追求責任的話，終究還是要怪在你身上，念在多年情分上，我不忍心殺你，於是便令你遷返封地。哪裏知道你卻不知悔改，竟然又和六國諸侯交往甚密。不是我不講情麵，現在你就帶著家眷去蜀地，我賜一座城給你，你就在那裏終老吧！”
呂不韋看完信，大為憤怒，他最不能容忍的，是嬴政在信裏將他們的父子關係撇得幹幹淨淨。於是怒道：“我傾家蕩產扶立先王，誰能有我的功勞大？當今太後是我的姬妾，秦王是我的兒子，怎麼就沒有親緣關係？秦王所作所為，實在令人氣憤。”說罷，將書信狠狠地摔在地上。但是又過了一會兒，呂不韋又深深地歎了口氣，自言自語道：“我把異人當作奇貨，又獻上已經懷孕的姬妾盜竊了秦國，和太後私通，殺了安國君和異人，絕了嬴氏的後代，這麼大的罪行，老天怎麼可能容得下我呢？到如今才死，實在是已經很不錯了。”說罷，便取出酒杯，倒出一杯鴆酒，飲下，未久乃亡。
呂不韋死後，他的門客們悄悄地為他收了屍，又悄悄地將屍體埋藏到一個秘密之處。待嬴政得知消息想要看看呂不韋的屍體時，賓客們都閉口不言。嬴政大怒，以此為借口將其門客黨羽全部逐出鹹陽，膽敢停留者一律治罪，這就是曆史上著名的逐客令。經國奇商呂不韋就這樣終結了他的一生，秦國的土地上再也沒了呂不韋門客的蹤跡，原呂不韋最信任的門客、秦國長史李斯也是其中之一，但是在走到秦國邊境的時候李斯寫了一篇著名的《諫逐客書》，由此受到秦王的賞識，並以此契機進入秦國政壇，成就了另一段傳奇。