它儿子，老大老二都因为不听话被逼死了（注），老三李显被囚禁在房州，只有小儿子在身边，一向都很听话，这次竟想谋还她，一定那帮想谋求大唐复辟的人唆使的，这次我一定要大开杀戒，让这帮人死了这条心。
武则天这样一想，决定找当时最著名的酷吏来俊臣调查他皇嗣武旦的左右侍从，消息传到太子宫，所有人都觉得末日来临了。来俊臣手段，他们可是听说多了。那真是求死不能，在他的毒刑下。死亡，可能都是一种幸福！
来俊臣兴奋了，这可是一个大案，审查起来可要牵连上百甚至上千的人，至于证据吗？只要我来俊臣说有，那就一定会有，人皆畏刑，毒刑之下，就算要人承认自己杀了父母兄弟。也不得不招，所以这案子一来，又是我大展身手的好机会了。
来俊臣将皇嗣的左右侍从整群带上堂审问，果然大周第一酷吏的名头不是假的，还不怎么用刑，只看到那些刑具，就有人自认帮皇嗣联络外官，有人联络军队，眼看皇嗣武旦这一次难逃天罗地网。突然有一名乐工冲出来，大叫，“皇嗣是忠心的，他绝对没有谋反。你们这样说，会害了皇嗣，也会害了你们自己……”
来俊臣见一小小乐工。竟敢扰乱审判，就喊道。“小小乐工，竟敢在此胡言乱语。扰乱审判，来人，将他拖下去吧“
手下人见老板发话了，赶紧要把这名乐工拖走，没想这时乐工从怀中掏出一把短刀，大叫，“既然你们都不相信我安金藏的话，我今天就在此剖腹以証明皇嗣的清白”说完后就拿起佩刀对肚子一划，登时血如泉涌，肠子都看到了，周遭的人都骇住了，没人发出任何声响。这时听到外面传来一个苍老而威严的声音，道，“赶快将他抬到就近的宫殿，马上传太医来”，正是武则天到了。
经过太医抢救，昏死一天一夜之后，安金藏醒来了，坐在他床前的是当朝皇帝，他即忙想起身，但力不从心，武则天止住了，问道，“安金藏，你何苦如此”，安金藏身体极其虚弱，但还是勉强说，“陛下，皇嗣忠心耿耿，天日可表，侍从们惧刑自诬，我若不切腹表白，则不但皇嗣将遭大祸，陛下日后也不免有椎心之悔，为陛下，为皇嗣，我都不得不如此”武则天听了，感慨道，“我对我儿了的相信，比不上你啊”於是下令不在追究，而李旦也因此逃过大难。
李隆基在家庭经历这些患难之后，性格有些变化。原本性格开朗活泼的他，变得有些深沉起来，虽然他仍然是喜欢声色犬马，喜欢呼朋引伴，但这时他已经开始学会城府，学会了喜怒不形于色。
神龙三年（公元707年），李隆基被外放到潞州（今天的山西长治市）当别驾，这时他23岁。对於外放当官，李隆基是不乐意的，当时的人认为长安才是一等一的城市，外放，就如同地位降了一级，更何况，原本李隆基在京城当的是四品官，到潞州去当的是五品官，降了一级，自然更不高兴，所以在出发前李隆基和自己京城的一帮朋友们痛饮数日，然后就闷闷不乐的上路了。
既来之，则安之，李隆基抱着良好的心态来适应潞州的新生活。但他发现，跟他想象中的不太一样，事实上，可以说，比他想象的要好的多。首先，他在这里得到极大的重视，过去他在长安城里虽然也是亲王，可是长安城里的王孙贵胄甚多，他只能算是众星中的一颗，但在这小小的潞州，他可算是独亮而且最亮的那一颗星。就连他的上司，潞州刺史对他也是客客气气，丝毫不敢有上司的架子；其次，在长安时，虽然大家表面上都跟他和气往来，事实上在早期因为武家的人想夺李旦皇嗣的位子，常常会使出一些中伤的招式，而使李隆基一家一直生活在优虑恐惧中。后来好不容易张柬之等发动兵变，拥立中宗李显上位，又因韦后/武三思等人排斥相王李旦，朝廷上很多人不敢跟他一家人过于接近，以免“有事时”受到牵连，所以李隆基在长安时是满压抑的，现在到了潞州就好像小鸟出了樊笼，海阔天空，不亦快哉！
在潞州，李隆基再度展现他喜欢交友、好客的天性。他常常邀集好友到他在潞州住所的后院痛饮，谈天说地。潞州离李渊/李世民龙兴之地太原不远，李隆对谈论太宗李世民的事迹最感兴趣，有时酒后还会慷概激昂的吟唱汉高祖刘邦的大风歌。“大风起兮云飞扬，威加海内兮归故乡，安得猛士兮守四方！”。潞州当地豪杰有不少的有识之士认为李隆基气宇不凡，而当时韦氏掌权，时常中宗在朝听政时，韦后竟在帘后出声干预，大家想知道李隆基对此有何看法，不想李隆基只是微微一笑，往往将话题一转，避而不答。
明面上李隆基不愿谈时政，事实上他对朝廷的事都瞭若指掌，他在京中的朋友不少，虽然很多只是中下级官员，但是这些人情报反而灵通，能够随时将朝廷的事传报给他。他们都认为，李隆基现在只是沉潜，未来定会龙飞九天，他就是有这样的魅力。在潞州，李隆基也没闲着，鉴於之前安金藏的例子，李隆基决心在潞州培养出可以在未来忠心报他的死士，所以平日也特别注意是否有这样的人才。很凑巧的，他找到了两位，而这两位果然不负他的寄望，在未来李隆基与