尔朱世隆打算另立北魏皇帝，扩大自己的权势。读零零小说他选中了广陵王元恭。元恭好学、有志向与度量，为了避难而装作哑巴，八年不曾说话。尔朱世隆找来元恭，说明自己的意图，元恭这才恢复说话，元恭就是北魏的节闵帝。
尔朱氏屠杀官僚，任意向百姓征收，经常没收百姓的妇女财物，将男子投进黄河，四方之人都讨厌尔朱氏。
高欢在山东地区，管束士卒，不让他们对百姓有任何侵犯，每次经过麦田，都牵着马匹小心走，唯恐踩踏庄稼，远近之人都称赞高欢治军严整，对高欢很敬佩。
高欢打算起兵讨伐尔朱氏，他事先伪造书信，说尔朱兆大将军打算将六镇的将士与家属配给胡人做家奴，大家都很担心害怕。
高欢假传命令，征召士兵一万人，准备出发讨伐叛将步落稽。高欢为这些士兵送行，亲自握手与他们话别，大家流着泪，痛苦失声，声震原野。
高欢对大家说：“我与大家一样，都是客居他乡之人。情谊像是一家人。现在朝廷征发你们去河西，径直去，结果是死，延误军期也是死，配给胡人做家奴，还是死。怎么办呢？”
大家都说：“干脆造反得了。”
高欢说道：“这是一种对策，不过，应当推举一位领袖，哪一位可以担任呢？”
众士卒一致推举高欢。高欢说道：“你们原来很难节制。大家还记得葛荣吧。他虽然有百万之众，因为没有军纪，最后还是灭亡了。如果大家拥戴我做领袖，能够和从前不同，不可以欺侮汉人，冒犯军令。不然的话，我就不会答应。”
众人向高欢行礼道：“惟命是从。”于是，高欢起兵讨伐尔朱氏。
高欢准备与尔朱兆交战，然而尔朱兆人多势众，高欢有些担心。高韶劝道：“所谓众，指的是能够誓死效力的人很多；所谓强，指的是得到天下人的忠心。尔朱兆人数虽多，然而他屠杀公卿，虐待百姓，怎么可以说多与强呢？”
高欢的战马不满两千，人数不过三万。高欢安排士卒结成环阵，连接牛与驴，堵住退路，使得众人抱着誓死的决心。高欢的大将贺拔岳攻击尔朱兆的前军，猛将高敖曹进攻尔朱兆的横里，尔朱兆的兵马溃败。
高欢发现节闵帝神采飞扬，担心自己不能控制他，于是，废了节闵帝，并且派人把他毒死。
高欢征召贺拔岳入朝，贺拔岳的手下薛孝通说道：“高欢用数千人打败了尔朱兆百万之众，难以与之争锋，然而，很多将领原本地位在高欢之上，尔朱兆尚未被擒，高欢不敢随便杀害您，因为他担心失去人心。将军不必畏惧高欢，不如去到关西，在那里以华山为城，以黄河为堑，前进时可以兼并崤山以东，退却时可以封死函谷关，怎么能够受制于人呢？”
贺拔岳说：“你说得对。”于是，不辞而别，向关西而去，开始与高欢平分天下。
533年，快过春节时，高欢的部下窦泰率部猛地攻入尔朱兆的营前，尔朱兆猝不及防，惊慌逃窜，其部众崩溃，尔朱兆自杀，尔朱氏的其他人员如尔朱世隆、尔朱天光等先后被杀，尔朱家族被诛灭，北魏落入高欢之手。
高欢讨伐北魏尔朱氏，立了大功，被封为丞相，驻在山西晋阳（今天的太原）。高欢的手中握着重兵，控制着山西、河北一带的大片地盘，严重威胁了北魏孝武帝的安全。
孝武帝一方面拉拢朝臣，增招健壮的武士作为自己的禁卫，另一方面，笼络割据关中（陕西）一带的北魏大军阀贺拔胜来抗衡高欢。
贺拔岳派遣手下的得力大将宇文泰出使晋阳，来观察高欢这个人。高欢见到宇文泰，感到这个人的相貌十分奇特，想把宇文泰留下来，宇文泰坚决请求离开，高欢答应了，送走宇文泰之后，高欢十分后悔，派人追赶宇文泰，没有追上。
宇文泰回到长安后，对贺拔岳说道：“高欢没有篡夺皇位，是因为大将军您的缘故。您需要招降西北一带的诸侯，用恩德来感化他们，网罗他们的兵马，资助我方的军力，建立齐桓公、晋文公一般的霸业，就可以成功了。”贺拔岳奏请朝廷，封宇文泰为夏州刺史。
高欢忧虑关中大军阀贺拔岳与另一个西北军阀侯莫陈悦二人的势力太大，于是，派人离间二人的关系。宇文泰对贺拔岳建议，先讨伐侯莫陈悦，贺拔岳不听。
侯莫陈悦想图谋贺拔岳的军队，当贺拔岳接受侯莫陈悦的邀请，来到侯莫陈悦的军营欢宴，席间，侯莫陈悦假装肚子痛，离开了帐篷，他的女婿元洪景抽刀占了贺拔岳。
侯莫陈悦心中迟疑，没有敢收编贺拔岳的军队，贺拔岳的士卒零散地回到平凉，贺拔岳的大军群龙无首，大家经过商议，一致推举宇文泰做大家的新首领。
宇文泰带着轻骑，快速赶到平凉，安抚了军队与百姓，远近的人都心悦诚服。
高欢听说贺拔岳死了，派遣大将侯景去招抚贺拔岳的部下，宇文泰遇见侯景，对侯景说：“贺拔公虽死，还有我在，你来干