然而，作为加强和巩固武后势力的当事者，在抵制和削弱他方势力并由此赢得一席之地，在朝廷有着举足轻重的影响之后，他们并未真正理解武后对他们信任和使用的真正目的和意图。他们出身势微，在朝野并没有特殊的背景和难以割舍的关系，只能死心踏地集结在武后麾下。
由于武后的特殊地位，他们都以能取得武后的青睐和重用而欣慰，以取得的成就、得到的殊荣为自豪；在他们的心目中，武后慧眼识珠，使他们智慧和才能得到升华，英雄大有用武之地。他们原本不相信武后摄政会取代皇帝，以为还政于皇帝是天经地义、时间早晚的事情。
现在，当武后把他们推上了改朝称制的风口浪尖上，一股不可抗拒的旋风把他们裹挟进来的时候，他们集体茫然了，那从未有过的信任危机使他们陷入痛苦而无从摆脱，他们不知道武后不还政于皇帝到底要做什么，但已经知道他们在此种情况下本身不能做什么。在由不得他们做出更多选择，要么是顺风生存，要么就是逆风死亡的时候，他们只能做出别无选择的选择，那就是同武后做最后的决裂。
武后不愿意看到这种结局，称制路上她已经失去了太多的大臣。其实，武后一直也在等待，等待他们突破世俗偏见，与她同舟共济；也寄希望于他们有一天能够幡然醒悟，看清天下大势。她没有充足的理由能够说服他们，也不可能用言语和理由来说服他们，从临朝理政那一天开始，就已经无所谓正义和理性可言，而只能用自己的作为为导向。来启发、教育和影响他们；用所取得的共同成就来激励他们。在自身力量有了较大积累，地位得到相应巩固的时候，武后对前景充满自信。并在行动上多少有些自负。
她有时间等待他们，还有更多的事实能够教育他们。武后与刘祎之他们一路携手走来。自然明白他们的心思，与裴炎他们不同的是，刘祎之对皇帝李旦的那份偏爱，既是出于昔日就任于王府司马的情结，更是出于先帝高宗对他的信任和重托。早年，刘祎之居家孝友，甚为士族所称，每得俸禄。散于亲属，高宗以此重之。
仪凤年间，吐蕃进犯边境，高宗询问侍臣安置还是讨伐他们的措施，人人谋略不同，刘祎之分析并看清了当时的局势，独自劝皇帝按常态处置，“夷狄就像禽兽，虽然受到侵凌，不值得计较。希望收起陛下的威严，解除百姓的当务之急。”
高宗接受了他的意见，也从中发现了他的才华。仪凤二年。转任朝议大夫，中书侍郎，兼任豫王府司马，不久，加授中大夫。高宗对刘祎之寄予厚望，曾当面对刘祎之道：“相王朕之爱子，以卿忠孝之门，籍卿师范，所冀蓬生麻中。不扶自直耳。”
先帝此等信任和赞誉，令刘祎之没齿难忘。以后。刘祎之作为北门学士之首，作为高宗、武后一手扶持和栽培的股肱之臣。武后对他更是信任有加。在废中宗立睿宗过程中，刘祎之参与其谋，擢拜中书侍郎、同中书门下三品，赐爵临淮县男。武后重用刘祎之，每每参与军国大事。当时诏令繁多，刘祎之才思敏捷，裁断口授，顷刻间可以完成。
其实，刘祎之在接受先帝重托的时候，除了尽朝中大臣之职责，更多的是在履行一种道德和伦理的职责。像裴炎乃至天下所有士子的心态一样，他名正言顺地追求功名，以实现人生的抱负，正是先帝更是武后为他施展才华成就功名提供了平台，使他在多年的奋斗中如愿以偿。然而，随着时间的推移，随着武后对他的信任有加，他自觉功名之下的道德伦理正在他身上日益瓦解，理想和现实越来越不对路，其不满和反抗情绪由此而与日俱增。武后没有就此罢休，她要从道义上对他做最后的挽救，包括挽救北门学士这些昔日的忠实追随者。
这些人是自己一手培养并寄予厚望的人，他们今天的成就也是她多年心血的结晶。然而，刘祎之没有给武后任何挽救他的机会和余地，在生死关头表现出少有的倔强。
刘祎之对武后迟迟不还政于皇帝发泄不满，事发于自己下属的告密。也许是那憋在心里很久的话实在憋不住了，总想一吐为快。终于有一天，刘祎之在自己的属下贾大隐面前发出喟叹：“太后既能废昏立明，何用临朝称制？
不如返政，以安天下之心。”作为李旦的内臣，多年的朝夕相处，刘祎之对这个昔日的皇子倾注太多的感情，也对这个受过自己影响的皇帝给予更多的希望。
如果说协助武后废除中宗李显是出于公心，那么对睿宗李旦的那份厚爱则多少有些私心。是上苍给李旦一份恩赐，他实在不忍心也不甘心皇权就此旁落，这不仅仅是出于内臣那份难以割舍的情结，而是对整个大唐王室的那份忠诚，还有自身的那份荣耀，而这又是一个才华卓著的士子留名千古、梦寐以求的荣耀。
贾大隐没有为他保密，而是直接密奏太后。当武后追究事实真相的时候，他毫不隐晦，坦然面对。这使武后想起多年前，司门员外郎房先敏受牵累获罪贬为卫州司马，他上诉于宰相府，中书令骞味道当即就把责任推至太后，而在旁的刘祎之出面维护武后：“缘坐改官，例从臣下奏请。”