二年（1103），赵明诚结束太学求学生活，出仕为官。
然而好景不长，朝中新旧党争愈演愈烈，赵李两家相继被卷入，并都蒙受了重大打击。先是赵佶受蔡京蛊惑，决意继承父兄遗志，重新推行新法。受此影响，李清照之父李格非被列入“元祐奸党”，罢免官职，赶出京城。清照向公公赵挺之献诗救父而不得；继而任右仆射的赵挺之亦在与蔡京的党争中败北，大观元年（1107）罢相不久即病卒于汴京。
赵明诚兄弟受到牵连，一度入狱，不久都被罢官。其后，李清照随赵家屏居青州（今属山东）十年，夫妇猜书斗茶，花前月下，相从赋诗。两人共治金石之学，她又独撰《词论》，阐述对词的看法，伉俪之谐古今罕见。
直到宣和三年时（1121）赵明诚这才复出。