，长孙无忌也不例外，历史上，太宗皇帝晚年，很为立储的问题而忧虑，在太子李承乾谋反被废后，太宗皇帝的嫡子就剩下李泰和李治。此二人都是长孙皇后的亲儿子、长孙无忌的亲外甥，但长孙无忌却力主立李治为太子。
个中的原因很简单，李治年龄小，为人柔弱，易于控制，尚未形成自己政治势力，李泰则年长，聪明，个性张扬，身边聚集了一批追随日久的文武官员，早就拥有了自己的政治班底，长孙无忌拥立李治，显然揭示出他希望继续保持权势的政治目的与野心。
对此，太宗皇帝当然心知肚明，可是出于确保政治稳定的考虑，经过对当时各派政治力量的审视，太宗皇帝也不得不作出妥协，最终立李治为太子，并向长孙无忌托孤。
这样，之后的高宗朝必然是以长孙无忌当权，而野心膨胀的长孙无忌也骑上了权力的老虎背。
高宗上台不久，长孙无忌就策划了一场政治清洗案，高宗的叔叔李元景、哥哥李恪及妹妹高阳公主夫妇等均被赐死，有大功的宗室亲王李道宗被流放，房玄龄、杜如晦的儿子都牵涉其中，家道一落千丈，山东士族集团遭受重大打击。
此后，长孙无忌与另一托孤重臣褚遂良相互配合，从永徽元年到永徽三年，在近三年的时间里，先后把宇文节、柳奭、韩瑗、来济等关陇贵族官僚提拔为宰相，并迫使出身山东士族集团的李世绩辞去了尚书左仆射的职务，让他做一个挂名的宰相。
这样，长孙无忌更加权倾朝野，以他为首的关陇贵族集团控制了朝堂。
可是，物极必反，高宗坐稳皇位后，其内心深处对舅舅的忌惮是不言而喻的，对关陇贵族控制朝堂也是极度不满的。
恰在此时，爆发“废王立武”事件，高宗要废王皇后，立武皇后，在朝中引起轩然大波。
长孙无忌、褚遂良等关陇贵族极力反对，鉴于长孙无忌的托孤重臣的地位，高宗与武则天亲自登门与长孙无忌商量废王立武。
然而，长孙无忌并不买账，依旧坚决反对。
由此，就摆明了长孙无忌了与武则天的敌对关系，高宗虽然柔弱，但他当连选老婆这类事都做不了主时，还是按耐不住了。
权力就是这样，可以让懦夫变成厉鬼，也可以让圣人变成恶魔，而武则天则巧妙地发挥了枕边风煽风点火的作用，怂恿高宗施展皇帝的魄力。
于是，高宗遂借“废王立武”重振皇权，打击关陇贵族集团势力，而且，多年来长孙无忌与褚遂良二人在高宗朝不知道收敛，引来很多朝臣的仇恨。
就这样，武则天与高宗成为政治上的战友，很多朝臣看到局面有变，便转而支持立武则天为后，从而形成了以许敬宗、李义府为首的“拥武派”。
当时，托孤重臣中只有李世绩表示沉默，高宗征求他的意见，李世绩说：“此陛下家事，何必更问外人！”
僵局至此结束，高宗的主意已定。
其实李世绩对于此事的表现未必就是其真实想法，这只是代表了朝臣中非关陇贵族出身的大臣对长孙无忌集团的反抗。
永徽六年，由司空李世绩主持了册立新皇后武则天的典礼。长孙无忌被排除在废立大事之外，这标志着关陇集团已经丧失了其在王朝政治中的核心地位。
随即，武则天为高宗出谋划策，采用先易后难的策略，先后罢黜了褚遂良、韩瑗、来济等关陇贵族集团的骨干人物，将他们远贬蛮荒。
当然，武则天最忌恨的是长孙无忌，但长孙无忌毕竟不同于褚遂良等人，他不但是佐命元勋，更是高宗的亲娘舅，要把他搞垮，需要时机。
显庆四年，在武则天的授意下，许敬宗等人把长孙无忌编织进了一桩朋党案，进行政治陷害，诬奏长孙元忌伺机谋反。
高宗竟然不与长孙无忌对质，或者他需要不进行对质，就下诏削去了长孙无忌的官职和封邑，流徙黔州，长孙无忌的儿子及宗族全被株连，或流或杀。
三个月后，高宗又令许敬宗等人复合此案，许敬宗派大理正袁公瑜前往黔州，逼迫长孙无忌自杀。
就这样，这个风光一时的托孤大臣遂这样一种极不体面的方式退出了历史舞台，实在是让薛琰这个后世之人嗟叹不已。