蒋介石在拉阎的同时，又于7月7日召张学良来平，先行密谈一次，假阎以声色。阎锡山见张来到，恐有变化，即于次日出院。7月9日，蒋、阎、张在北平就国是达成一般性谅解，决定由张学良负责对苏联持强硬态度，收回中东路，发表阎锡山为西北边防司令长官，负责西北军事善后。阎锡山后来对西北边防司令长官一职坚辞不受，但回晋后却不提反蒋之事，反而把冯玉祥软禁起来，而蒋介石则大力拉拢西北军以制衡阎锡山。
西北军和南京方面的密切关系，使阎锡山坐立不安，满腹狐疑的他不甘被冷落的处境，更担心蒋介石和西北军之间有什么密约。原来是为了讨好蒋介石，才软禁冯玉祥，如今落得两头得罪。狡猾的阎锡山再次耍起小聪明，为了证明自己在蒋介石面前的分量，以辞职作为试探，如果蒋介石极力挽留，可以证明自己的身价未跌，否则则是相反。
这一次，阎锡山有点聪明过头了，因为如果蒋介石予以挽留则没有问题，但是如果蒋介石将计就计，这将使得阎没有回旋余地。果然不出所料，蒋介石在西北军表示臣服后，对阎锡山独霸山西不放心，于8月10日宣布，准许阎锡山辞去本兼各职，同时任命商震为山西省政府主席，徐永昌为河北省政府主席，这也符合第二次编遣会议有关军政分开的决定。阎锡山非常被动，但又没法反悔，只得拿下脸皮找到冯玉祥，另谋出路。阎锡山被整下台，对冯玉祥来说是一个意外的收获。最后，冯阎经过密谋决定共同反蒋。
10月9日，西北军宋哲元致电冯、阎，声称为蒋所逼，不得不起兵～造反。冯、阎则回电宋哲元等西北军将领，佯装劝他们要从长计议，国事当由国人解决。冯、阎、宋之间一来一往的电报，无非是为了表示西北军倒蒋与冯、阎无关，这种把戏根本瞒不过蒋介石。
宋哲元、孙良诚等27名西北军将领，在电报中列举蒋介石独裁专制的6大罪状，宣布愿意在阎锡山、冯玉祥统率下，讨伐蒋介石，开始第二次倒蒋。宋哲元宣布代理西北军总司令，以孙良诚为前敌总指挥，兵分3路向东进军。其中北路军由孙良诚指挥，出潼关，沿陇海线东进；中路军由孙连仲、刘汝明指挥，出紫荆关，攻南阳；南路军由张维玺、吉鸿昌指挥，出老河口。以陇海线为主线，由北往南全面向河南推进。10月24日，宋哲元东出潼关，在洛阳设立总司令部．蒋冯战争正式开始。
蒋介石针锋相对，马上采取了针对性措施，下达了讨伐令。10月11日，蒋介石在《告全国将士书》中称：汉贼不两立，革命反革命不共存。我不消灭逆军，即为逆军所消灭。蒋介石还命令，南京国民政府免去宋哲元的陕西省主席和第二十八师师长职务，缉拿归案；免去鹿钟麟等在中央任职的西北军各代表的职务，缉拿归案；任命阎锡山的部将朱绶光代理军政部长，以瓦解反蒋同盟。
蒋介石对西北军起兵固然担心，但他更担心晋绥部队跟着起哄，这样才是真正的危险。因此，有必要离间阎、冯之间的关系。蒋介石对阎锡山贪婪自私的本性认识很深，阎锡山本人原本答应冯玉祥，在西北军起兵后立即响应，但在西北军举起反蒋大旗之后，他认为获利的可能性不大，所以又想按兵不动，隔岸观火。10月15日，阎锡山见西北军造反等于他地位上升，所以致电南京，表示应当制止宋哲元等人的捣乱行动。
蒋介石一看机会来了，可以离间阎、冯关系，于10月28日指使南京政府出面，任命阎锡山为陆海空三军副总司令，这一职务对虚荣心极强的阎锡山具有很大的吸引力。11月5日，在南京方面代表的鼓动下，阎锡山撕毁与冯玉祥的约定，倒向南京，就任陆海空三军副总司令职，这对冯玉祥和西北军造成很大压力。
离间冯阎关系是第一步，蒋介石最看重的是军事进攻。蒋介石组织五路大军围剿西北军，分别由方鼎英、刘峙、韩复榘、何键、唐生智指挥。其中只有5个月前投靠蒋介石的韩复榘以不能打友军、打旧长官为名，干脆退往黄河以北观战外，其余各部迅速接火作战。11月1日，蒋介石亲临河南郾城、新郑一线指挥作战。为打赢来势凶猛的西北军，蒋介石重新调整部署，令半年前蒋桂战争结束后出任军事参议院院长、但一心想掌握军权的唐生智统率全部在豫军队，由刘兴率领左路军，何成浚率领中路军，杨杰率领右路军，先后向西北军发动三次进攻。
西北军后勤严重不足，军事实力显然不是南京方面的中央军的对手，在蒋介石的三次连续攻击下，已经力不能支，孙良诚甚至准备诈降灭敌，但宋哲元以为孙良诚是真降，所以率部先退，导致孙、宋二部全线溃退，12月1日，唐生智部攻克郑州，西北军再次败北。正在西北军失败之际，战局发生了戏剧性的变化，12月2日，晚原已归附蒋介石的石友三部在浦口炮轰南京，12月3日，唐生智宣布倒蒋，退到潼关以西的宋哲元、孙良减、吉鸿昌、庞炳勋也通电响应。已经基本定局的中原战场又起战火，讨伐西北军的唐生智指挥的中央军各部又开始起来讨伐唐生智，西北军各部因为新遭重创，无法出潼关再战。唐生智