斛律光经常彻夜难眠，常常自叹道：“盲人入朝，国必危亡。”他万万没有想到在自己的身边有祖延收买的亲信，这个奴仆听到了这句话之后，便偷偷的报告给了祖延，祖延知道之后，心知自己与斛律光已经是水火难容了，如果不除去这个心头之患的话，恐怕自己有朝一日就会成为另一个和士开，所以自己必须要先下手除去斛律光。当时陆令萱之子穆提婆欲娶斛律光的女儿为妻，借攀亲交结宰相，本料一说即成，不料想被斛律光严词拒绝。于是斛律光与陆氏母子的冲突也表面化了。后来高纬想把晋阳的耕田山林赐给穆提婆，斛律光又以国事、军事为重，上奏高纬道：“陛下，晋阳历来都是提供军需的重地决能贻误军机而赐田给穆提婆。”这些话传到了陆氏母子的耳中之后，更激怒了他们。于是祖延和陆氏母子又便勾结在一起，千方百计的寻找机会底毁斛律光，但斛律光英名盖世，祖延和陆令萱根本就找不出任何的罪名来诋毁斛律光。
机会终于来了，北周的刺史韦孝宽，也是一员杰出的将领，他与斛律光对阵曾经吃过败仗，对斛律光十分的忌恨，便想方设法使出了反间计，编造谣言，让间谍在邺城广泛的传播：百升飞上天，明月照长安，。高山不推自崩，槲木不扶自举。这几句话又被祖延知道了，他乃是才学机敏之辈，深知其中之意，不由得心头一阵狂喜，不过他知道自己一个人势单力孤，只有拉下陆氏母子才可以，所以他就借风纵火，就势又在下面续上了几句，暗令手下人在城中传唱：盲老公背受大斧，饶舌老母不得语。还别说穆提婆还真的听到了，急忙告知了自己的母亲。陆令萱不知其中之意，便找来了祖延，询问其中的意思。祖延装出一副用心思索的样子，好一会儿他才说道：“哎呀，解开了，解开了，这百升二字是一个斛字呀，明月不正是斛律丞相的表字吗？盲老公不正是说的我瞎眼的祖延吗，这饶舌老母么……，嘻！这您自己应当……嗨！”陆令萱听了之后脸上一红说道：“不要紧，老身知道这饶舌老母说的是老身，你就接着向下说吧。”祖延接着说道：“这歌谣的意思就是斛律光有朝一日要君临天下，登其为帝，而你我等人恐怕要受灭顶之灾呀。”陆令萱一听就急了，说道：“什么？这么说这斛律光还有帝王之缘，那他要是登基为帝的话，恐怕你我就会死无葬身之地了，那你我该如何是好呢？”祖延心中好笑，心道：“嘿，要的就是你这句话，饶你饶舌老母如此狡猾，也上了我盲老公的当了。”但祖延脸上却一脸阴笑的说道：“嘿嘿，这还不好办吗？斛律光为什么会这么霸道，还不是因为他手中握有重兵，根基深厚吗？如今之计，咱们只有靠皇上之手将他给治了。”
陆令萱的了之后连连点头称是，说道：“对，只有断其羽翼，再靠皇上的手，咱们才能稳操券。”说罢，陆令萱马上进宫去见了高纬，把这番谣言又重新背诵了一遍，然后又添油加醋的解释了一遍。高纬听了之后不由得有些怀疑，虽然他是一个昏君，但又不是傻子，岂能不知道斛律光是个大大的忠臣。他无论如何也不会相信几代忠良的斛律光会造反，这不是天大的笑话吗？见高纬不相信，祖延便又开始运用他那过人的才学开始胡诌起来，只听他说道：“陛下，请想，斛律家族累世掌兵，而斛律光声震关西，而其弟威行突厥，自古尾大难收，功高镇主，俗话说无风不起浪，如果没有这样的事，那世上也不会流行这样的谣言，陛下您不可不防啊。”高纬听罢默然不答，但他的内心里却在激烈的冲突着，一时之间难已决断。为了使高纬早下决断，祖延使出了更为阴毒的一招，他让用重金收买的斛律光身边后个家奴上书皇帝，诬告斛律光家中藏纳兵器，蓄养家丁，恐有谋反之心。高纬看到这个消息之后，本来不太相信，马上深信不疑，立即向祖延询问捕杀斛律光的计策。
祖延不慌不忙的说道：“陛下，这些臣早就替您考虑周全了，陛下您可以赐斛律光一匹骏马，就说明日君臣要同游东山，那个时候斛律光必然前来道谢，在那个时候便是动手的好机会。”高纬听后不由得点头称善，马上便让祖延着手去办。到了第二天，斛律光果然不存戒备，单骑入谢。当行至凉亭之下的时候，他下马前行，而这个时候早就埋伏在此地的杀手们一拥而上，虽然斛律光武艺高强，但一则根本就没有防备，二者双拳难敌四手，被这群人扑倒在地，不由分说用弓弦活活的勒死了。当时斛律光的鲜血渗入地下，历久犹存，可谓碧血千秋，也是老天在昭示着当日残忍的一幕。
为了斩草除根，高纬随后下诏，以谋反罪将斛律光一家满门斩绝，财产没宫，皇后斛律氏也同时被废。这个消息传到了北周，韦孝宽喜不自胜，北周武帝宇文邕也大喜过望，当下便在朝堂大排酒宴，举杯同贺，同时颁诏天下，实行大赦，声言：“斛律光受诛，北齐在朕手中是指日可待了。”一位贤明的宰相和军事天才就这样被陷害杀死了，当然韦孝宽气度狭窄，阴使反间计，无论谁看到了都会不耻，但换一个角度想，这不过是各为其主而已，没有什么可以不对。应该大加鞭策的应该是祖延和陆令萱这**臣与那个昏君高纬。祖延灭了斛律光，北齐朝中便无再与他抗衡的力