其实在朱邪赤心尚未离世之时，李克用的时代便已早早来临。
李克用生于大中十年(856)九月。关于他早年的经历，《旧五代史·唐武皇纪上》云：“献祖之讨庞勋也，武皇年十五，从征，摧锋陷阵，出诸将之右，军中目为‘飞虎子’。贼平，献祖授振武节度使，武皇为云中牙将。……及壮，为云中守捉使，事防御使支谟。”
而在段文楚接任云中防御使后，李克用任沙陀三部落副兵马使，戍守蔚州。
但是接下来，李克用在代北集团中的核心领导作用，在杀害段文楚事件中就已显露出来。
段文楚事件发生的时间，史籍有咸通十三年(872)、乾符元年(874)、三年（876）和五年(878)等多种记载。司马光采纳了乾符五年说。而关于段文楚被杀的原因，旧史多说是由于“代北荐饥，漕运不继，文楚颇减军士衣米，又用法稍峻，军士怨怒”所致。日本学者堀敏一氏也认为：“叛军拥立李克用的事件，虽然存在着边境这一特殊条件，其实不过是唐末常见的藩镇兵士叛乱”。
诚然，这种由于节帅优赏不周而遭致部下杀害的事件在唐末层出不穷，实在是再平常不过了。不过，段文楚被杀事件发生的真正的和更为深刻的原因，正如事件的策划者和主谋之一李尽忠所言，是“今天下大乱，朝廷号令不复行于四方，此乃英雄立功名富贵之秋也……李振武（即李国昌）功大官高，名闻天下，其子勇冠诸军，若辅以举事，代北不足平也”，于是即乘“天下大乱，朝廷号令不复行于四方”之际，割据代北地区。
沙陀人虽然从元和四年进入代北后，就开始了对代北地区的经营，但由于唐廷中央的防范和限制，他们在代北地区并没有建立起稳固的统治。朱邪执宜、赤心父子时而被任命为蔚州刺史，时而又被任命为朔州刺史，并且不时被征发率部去屯天德、戍河西。朱邪赤心（李国昌）虽因镇压庞勋功而先后被任命为云中、鄜坊、振武节帅，但也只能是不在此即在彼，却不能将整个代北据为己有。史称段文楚被杀之后，唐廷中央曾以“振武节度使李国昌为大同节度使，以为克用必无以拒也”。然而“李国昌欲父子并据两镇，得大同制书，毁之，杀监军，不受代”，即说明李国昌父子欲将整个代北地区据为己有的野心。而由此，即便对李克用一家心存好感的李曜，也不得不对这次事件的幕后策划者和主谋到底是谁而产生怀疑。
旧史将杀害段文楚的策划者和主谋归结于沙陀兵马使李尽忠和云中牙将康君立等人，而李克用则反而是被动被推上台的。但是，也有一些史籍记载此事为李克用所为，如《实录》说：“乾符元年十二月，李克用杀大同防御使段文楚，自称防御留后。《旧唐书·懿宗纪》咸通十三年十二月亦载：“是月，李国昌小男克用杀云中防御使段文楚，据云州，自称防御留后。”李曜觉得，结合日后“李国昌欲父子并据两镇”的情况来看，很有可能李克用才是策划杀害段文楚事件的真正主谋，或者说至少也是主谋之一。因为杀害唐朝地方藩帅，毕竟不是一件光彩的事，宋朝认定了后唐是正统，那么作为后唐建立者李存勖的父亲，被追封武皇的李克用而言，后人对他有所避讳是很平常的事。
然而，唐廷中央尽管是有些“皇威不振”，却也不能容忍李克用这种犯上作乱的行为。于是唐廷任命卢简方为大同军防御使，令其谕李国昌：“克用暂勿主兵务，束手待朝廷除人。”当李国昌父子拒命后，便发动河东、幽州、昭义诸镇及吐谷浑赫连铎进讨。广明元年(880)六月，沙陀酋长李友金及萨葛都督米海万、安庆都督史敬存等率沙陀三部落降唐。七月，李克用、李国昌父子先后连连大败，部众溃散，李氏父子、宗族及康君立等北入鞑靼。唐廷以吐谷浑赫连铎为大同军防御使，白义成为蔚州刺史，米海万为朔州刺史，振武军帅位也落入吴师泰之手，不久又落入契苾璋之手。结果李克用不仅未能“旬日而定代北之地”，而且将朱邪执宜、朱邪赤心（李国昌）苦心经营数十年的代北地盘丧失殆尽。这在代北集团即沙陀的发展史上，是一次近乎毁灭性的打击。
然而这对于李克用而言，更多的却是一次磨砺，“宝剑锋从磨砺出”的那个磨砺。复出再起的机会出现在广明元年十二月。这时，黄巢起义军攻占长安，这个巨大的变化，为沙陀势力的复兴提供了绝好的机会。中和元年(881)二月，李友金奉命率沙陀、萨葛、安庆三部落及吐谷浑诸部5000人入援京师。李友金行至绛州，绛州刺史沙陀人瞿稹谓监军陈景思：“贼势方盛，未可轻进，不若且还代北募兵。”遂又返回代北。半月间，募兵3万，“皆北边五部之众”。李友金又对陈景思说：“兴大众，成大事，当威名素著，则可以伏人。今军虽数万，苟无善帅，进亦无功。吾兄李司徒父子，去岁获罪于国家，今寄北部，雄武之略，为众所推。若骠骑急奏召还，代北之人一麾响应，则妖贼不足平也。”陈景思“然之，促奏行在”。
李友金为李克用的“族父”，他从行至绛州又返回代北，从兵力不足“未可轻进”到“军虽数万，苟无善帅，