嫪毐死后，嬴政一直在不动声色地观察吕不韦，他发现吕不韦完成不了角色转换。吕不韦在表面上顺从嬴政，但是对军国大事自有主张，有的事根本不向嬴政报告，有的事自己盖上相国大印就下发命令。嬴政不能容忍这种做法，他终于下令免去吕不韦相国职务，让他离开咸阳，回到自己的封地河南洛阳。嬴政采取的是曾祖父昭襄王对穰侯的处置办法，削去权力，保留爵位和封地。嬴政手头上有嫪毐的供词，他有强有力的证据可以给吕不韦以更严重的处罚，但是嬴政不想这样做，对自己的恩人他决定网开一面，只要吕不韦今后不再妨碍他。嬴政坚持一条，他才是秦国的最高统治者。
吕不韦虽然失去了权力，但他仍然是受人尊重的侯爵，拥有秦国任何大臣都没有的广阔封地，下台后能过上普通人无比羡慕的奢华生活，这种生活，比经商成为巨富的人有过之而无不及。吕不韦丢掉了相国桂冠，但依然可以说是最成功的商人之一。可惜的是，权力就如毒品，使人上瘾，使人痴迷，使人难以摆脱。吕不韦一下子适应不了没有权力的日子，他回到洛阳后不甘寂寞，自己的侯府每天门庭若市，各国诸侯前来拜谒的客人形形色色，络绎不绝，洛阳成了秦国的“国际交流中心”，非官方的“外交部”。洛阳地处中原，四通八达，交通比偏处关内的咸阳便利得多，吕不韦又是执政多年的秦国相国，他在位时间长达13年，在历任秦国丞相中是最长的，比应侯范雎还多了两年；穰侯魏冉在30多年政治生涯中虽然四次拜相，但每次任职时间都没有这么长。各国政要名流都想通过吕不韦了解秦国的政治动向，很多人以结交这位名相为荣，吕不韦就如信陵君、平原君，不在其位反而更方便结交天下英豪。他门下的宾客也继续簇拥在他周围，为他出谋划策和东奔西走。他有一个门客名叫司空马，跑到赵国游说赵王，竟然劝赵王割让一半国土给秦国，好争取与秦国的永久和平。这主意匪夷所思，只有脑子进水的人才会接受，赵王当然不会答应。
吕不韦没想到他的所作所为严重犯忌，是嬴政不能接受的。吕不韦一生聪明，善于体察人情，但对自己看着他长大的嬴政竟然没有深刻的认识，这真是一件奇怪的事。这恐怕是吕不韦觉得自己太特殊了，任何一位秦国大臣对现任秦王的贡献都比不上他，他过于托大，以为嬴政不会对他这位“仲父”怎么样。而嬴政同样没有料到吕不韦这么“迟钝”，竟然没有从这次被免去相国职务的敲打中醒悟过来，离开后不但没有对他嬴政请示汇报，而且回到封地好像回到独立王国，在长达两年的时间里，自己做自己的事去了，这哪是做大臣的范啊！嬴政行事心计极深，从不轻易透露自己的意图，聪明的大臣必须自己通过王上的所作所为来揣摸他的心思。嬴政免掉吕不韦职务时还对这位老臣客客气气，委婉地表示仲父年事已高，何不摆脱繁琐政务好好享享清福，安度晚年。聪明的吕不韦当然知道这是秦王不想再用他的托辞，但秦王的温和态度使他放松了警惕，竟然一时被这位年轻的君王所迷惑了。
吕不韦以为自己是仲父，而嬴政可不这样认为，他认为吕不韦功劳再大也只是恩人，是臣子，不是父亲。臣子如果做了出格的事，那就要承担责任。大臣私交各国是对君主权力的威胁，东方各国纲纪废驰，孟尝君、信陵君这些做臣子的可以喧宾夺主，势力比君主还大，但是制度严肃的秦国不允许这样。在吕不韦之前，从来没有秦国的王室成员或大臣像吕不韦那样毫无顾忌地豢养那么多宾客，吕不韦开了个不好的先例，以至嫪毐依样画瓢，培植私人势力，这为他后来谋反积攒了本钱。嬴政能够从以往的经验中汲取教训，这是他很突出的一个优点，他要防止大臣私人势力膨胀动摇国本。
如何进一步处置吕不韦，嬴政费了点心思。吕不韦只是对外有私交，但没有任何叛国证据，过于严厉的处置不合适。嬴政记得他的曾祖父昭襄王对白起的处置不太得民心，对功高盖世的名将没有说得过去的理由就轻易“赐死”显然过分，嬴政不想效法祖宗落下擅杀大臣的话柄。于是他亲笔为吕不韦写了封信，狠狠地敲打他一下：
“你对秦国有什么功劳，能够享用河南十万户封地？你跟秦国有什么亲缘关系，能够让人尊称你为仲父？你带上你的家属，给我搬到蜀地去！”
嬴政想让吕不韦头脑清醒一下，明白自己不是什么当今王上的仲父。将吕不韦赶到偏僻的蜀地，远离中原交通中心，嬴政相信吕不韦不会再掀起什么风浪。
吕不韦看到嬴政的手书如惊雷轰顶，一下子清醒过来。他真后悔自己离开咸阳后没有把心思用在修复他与嬴政的关系上，或者至少像范雎那样，下台后保持低调，夹着尾巴做人。他真大意了，以为君臣关系可以有例外，可以有特殊，可以有情分。吕不韦是聪明人，当他转过弯来后，立刻意识他的将来前景凶恶！嫪毐被车裂、赵姬被软禁的情景瞬间浮现在他的脑海。嬴政是一个心狠手辣的人这个事实他突然全明白了。嬴政因为囚禁亲母饱受诟病，但是他对劝阻的人见一个杀一个，丝毫不能接受逆耳之言，前后已经杀了20多个人，这些情况吕不韦都知