河天皇退位的时候年仅三十三岁，把皇位传给了八岁的儿子堀河天皇，自己则以太上皇的身份在幕后真正管理朝政。堀河天皇死后，五岁的宗仁即位，成为鸟羽天皇，政权仍然由白河天皇掌控。
这一举措成功的削弱了藤原氏的势力，但是却在天皇和太上皇之间埋下了矛盾的种子。以鸟羽天皇来说，他从小到大都笼罩在白河上皇（严格说来应该叫“上上皇”）的阴影底下。虽然贵为天皇，但他没办法独立推行政令，因为大部分实权都被祖父的院政垄断，朝臣们根本不把他这个天皇放在眼里，他只能期待等到自己长大足够大的那一天，祖父会主动把权力交还给他。
然而，鸟羽天皇却始终没有等到那一天，当他二十岁的时候（北宋宣和五年也即1123年），白河上皇做出一个决定，强迫鸟羽天皇退位，把皇位让给了他五岁儿子的显仁，后者是为崇仁天皇。
显然，白河上皇意识到鸟羽天皇年纪已大，自己如果不还权于他实在有点说不过去，所以索性废了鸟羽天皇再立一个年纪更小的天皇，这样自己仍旧可以独揽大权。