忌有旧怨，长孙无忌欲借机诛杀李恪，以绝众望，便诬称李恪也参与谋反。
最终，房遗爱等人被处斩，李恪也被赐死，死前大骂：“长孙无忌窃弄威权，陷害良善，祖宗有灵，必让其宗族覆灭。”
或许是无辜被诛的李恪诅咒应验了，到永徽五年，李治欲废黜王皇后，立武昭仪为皇后，他担心大臣不从，便与武则天到长孙无忌家中饮宴，赏赐金宝缯锦十车，又任命无忌的三个庶子为朝散大夫，并以皇后无子来暗示长孙无忌。
长孙无忌却假装不明白李治的意思，顾左右而言他，李治怏怏而归，后来，武则天的母亲杨氏多次到长孙无忌家中请求，礼部尚书许敬宗也加以劝说，但都被长孙无忌正色拒绝。]
可是李治废后之心已决，召长孙无忌、李世绩、于志宁、褚遂良入内殿商议，李世绩称病未去，于志宁噤不敢言，褚遂良则激烈反对。
长孙无忌虽未明言反对，但却在一定程度上支持褚遂良，但李治最终还是将王皇后废为庶人，改立武则天为皇后，武则天因长孙无忌接受赏赐，却不肯支持自己，对他怀恨在心。
历史上显庆四年，许敬宗指使人向李治呈奏密章，称监察御史李巢勾结长孙无忌，图谋造反。
李治便命许敬宗与侍中辛茂将一同审查，许敬宗奏道：“长孙无忌谋反已露苗头，我担心他知道事情暴露，会采取紧急措施，号召同党，必成大患。希望陛下能果断处理，尽快拘捕。”
李治终究还是粘着甥舅之情，哭道：“我怎忍心给舅舅判罪，后代史官会怎么看待我？”
许敬宗则举汉文帝杀舅父薄昭，天下以为明主之例，宽慰李治，又引“当断不断，反受其乱”的古训，催促其下决心。
李治也不与长孙无忌对质，便下诏削去他的官职和封邑，流徙黔州，并让沿途州府发兵护送，长孙无忌的儿子都被罢官除名，流放岭南。
同年七月，李治又让李世绩、许敬宗复审长孙无忌谋反案，许敬宗命中书舍人袁公瑜到黔州审讯无忌谋反罪状，袁公瑜一到黔州，便逼令长孙无忌自缢，长孙无忌死后，家产被抄没，近支亲属都被流放岭南为奴婢。
历史上，长孙无忌的结局和他的好友褚遂良一样，只不过，褚遂良晚景凄凉是因为他性情耿直，长孙无忌则是因为，一朝得势，又没有了相应的制约，便得意忘形所致。
不过，如今的长孙无忌还是知道收敛的，他知道自己是外戚，无数人，无数双眼睛都在盯着他看。
正是因为如此，长孙无忌行事为人，不敢有任何大意之处，平日里，也从不结交那些手握兵权的武将，所来往的都是当初秦王府的学士。
两人相互礼让，进了正厅，分宾主落座。
褚遂良吩咐下人奉茶，道：“辅机兄！今日怎地有闲暇，来小弟的府上！”
长孙无忌闻言，笑道：“多日忙于政务，久不曾来登善贤弟府上，怎地，今日愚兄不请自来，搅扰了贤弟，莫不是又在写字，作画，愚兄这恶客一登门，便搅了贤弟的雅兴！”
褚遂良笑道：“辅机兄这张嘴，当真是不轻易饶人，小弟也是刚从宫中回来！”
长孙无忌道：“莫不是又因为那活字印刷之术？”
太宗皇帝那一日得了李承乾献上的活字印刷术，便宣示群臣，长孙无忌自然也知道，那小小的泥活字，干系重大。
前日里，萧瑀请奏，将活字印刷术，推行天下，惠及天下学子，太宗皇帝之所以不允，这里面还有长孙无忌的关系在内。
萧瑀是个老夫子，褚遂良也只是个纯臣，长孙无忌则可以算得上是个政治家，他目光所及，必然要比萧瑀，褚遂良长远的多。
长孙无忌一眼就看出那活字印刷术干系重大，推行天下，自然可以为朝廷博取士子之心，可是想要将那活字印刷术利用好，为朝廷，为李家皇朝争取更大的利益，显然不是那么简单的。
因此，长孙无忌此前特意入宫，劝太宗皇帝暂时不要将活字印刷术推广开来。
对此，褚遂良可不知道，倘若知道了此间内情，以他的脾气，只怕今日，连门都不会让长孙无忌进。
褚遂良点点头，又摇摇头，道：“小弟进入入宫求见陛下，确实是为了那活字印刷之术，可是却又忘记了！”
忘记了？
长孙无忌笑道：“这等大事，登善贤弟居然会忘？”
褚遂良苦笑一声，道：“不是忘了，而是被一幅字，一个人惊得根本想不起。”
长孙无忌闻言皱眉，道：“何人居然有这等能耐，单单凭一幅字就能将登善贤弟惊得连大事都忘记了！”
褚遂良
（本章未完，请翻页）思孚良久，道：“辅机兄！可还记得那薛贾！”
薛贾！
长孙无忌听到这个名字，头脑当中立刻闪现出一个满头白发，皮肤黝黑，表情冷肃的倔老头形象。
薛贾这个人，长孙无忌岂会忘记，当初大唐定鼎关中，薛贾可是出了大力气的，