奉军公布吴佩孚阵亡的消息，给河南督军赵惆帮了倒忙，赵惆和他的弟弟、暂编第一师师长赵杰是支持奉系的。但是吴佩孚也在河南，对吴不敢得罪，并且和吴佩孚拜了把子，表示友好。1月，吴佩孚逼迫赵惆发表了反对梁士诒内阁的通电，赵倜又密电张作霖解释自己不得已发表通电，张作霖立即将这份电报转给曹锟，并附以按语：“你的部下强迫别人打电报反对我，如你不能制止，我代你制止。”曹锟又将张作霖的电报转给吴佩孚，叫他不要惹是生非，吴见到这份电报，知道赵惆暗中通奉，口是心非。直奉战争开始，张作霖暗中派人与赵联络，唆使赵惆当吴佩孚挥师北进，即宣告河南独立。吴对赵倜不放心，在他赴前线之前，急调冯玉祥部队监视赵惆兄弟的活动。5月4日，赵倜在北京的密探电告：“吴佩孚业已阵亡”，赵倜信以为真，以为直军必败，于是宣布武装中立。5月5日，河南暂编第一师师长赵杰、暂编第二师师长宝德全率部偷袭郑州，冯玉祥率他的第十一师来援，解除郑州之围。8日，赵倜下了停战令，冯不予理会，继续向中牟进攻。吴为表彰冯稳定后方之功，保举冯为河南督军。11日，北京政府发表正式任命，同时，对赵倜撤职查办。赵倜上了假情报的当，自知铸成大祸，被迫下台，并要暂编第二师师长宝德全维持开封治安，宝早已通款于吴佩孚，吴密令宝德全解散赵杰的暂编第一师，保举宝为河南军务帮办，赵杰闻风先逃。14日，冯玉祥进开封，宝德全到车站迎接，冯立即将宝杀掉，这是直奉战争中的一个插曲。
5月4日，直奉两军在永清激战九个多小时，奉军伤亡过重，弃城而走。这时西路前线长辛店大败，战局逆转。张作相下令撤退。直军张锡元旅乘胜攻杨村，下落垡，只是迟了一步，奉军总司令部已撤到军粮城。张作霖晚7时到达天津，即下达总退命令。5月5日退到滦州，电令李景林，部队在天津集中，退回关外，李景林率本部人马退到杨柳青、掩护奉军撤退，大批奉军乘火车退往滦州，杨宇霆忙令先头部队在滦河搭起浮桥，要部队顺利过河。
5月6日，张作霖下令组织设防，以开平为第一道防线，由李景林扼守，古冶为第二道防线，由张作相防守，滦州为第三道线，张作霖自己坐镇，昌黎为第四道防线，由孙烈臣扼守。
奉军战败后，大总统徐世昌于5月5日下令饬奉军退出关外，称“以前直隶、奉天等处军队移调近畿一带，迭经令饬分别撤退，乃延不遵行，竟至激成战斗。近数日来，枪炮之声不问昼夜，难民伤兵，络绎于道，闾阎震惊，生灵涂炭，兵凶战危，言之痛心，特再申令，着即严饬所部，停止攻击，奉天军队即日撤出关外，直隶各军亦应退回原驻各地点，均候中央命令解决，务各凛遵。”
同日，徐世昌又发布一道命令，查办罪魁祸首，称“此次近畿发生战事，残害生灵，折伤将士，皆由于叶恭绰、梁士诒、张弧等构煽酝酿而成，实属罪无可逭。叶恭绰、梁士诒、张弧均着即行褫职，并褫夺勋位、勋章，逮交法庭，依法讯办！”7日，梁士诒、叶恭绰等人离开天津赴日本，逃避吴佩孚的追缉。
徐世昌不愿得罪张作霖，迟不下令免去他的本兼各职。吴佩孚一再督促，北京政府才于5月10日下令裁撤东三省巡阅使，免去张作霖本兼各职，听候查办。11日，北京政府再令裁撤蒙疆经略使。并根据直系的意见，公布吴俊升为奉天督军，冯德麟为黑龙江督军，袁金铠为奉天省长，史纪常为黑龙江省长。这是吴佩孚分化瓦解奉系的阴谋，想借此离间张作霖的旧部，迫其下野。
5月12日，张作霖得知徐世昌下令免除其本兼各职后，立即在滦州宣布独立，改称奉军总司令，实行东北自治，并发表对外宣言：称“……对于友邦人民生命财产力加保护，所有前清及民国时期所订各项条约，一概承认，此后如有交涉事件，请逞行照会滦州本总司令行辕。自本月一日起，所有北京政府订立关于东三省、内外蒙、热河、察哈尔之条约，未得本总司令允许者，概不承认。”
吴俊升、冯德麟、袁金铠、史纪常等人深知张作霖在东三省的势力是牢固的，也都知道北京政府的任命是吴佩孚玩的诡计，5月15日发出通电：“北庭乱命，免去张巡阅使本兼各职，并调任德麟等署理督军等话。……德麟等对此乱命，拒不承认，合电奉闻。”吴俊升早于1921年3月即升任黑龙江督军兼省长，吴虽墨水不多，但为人机灵，善观风向，乘专车到山海关去见张作霖，此刻张住在山海关天泰栈收容部队。未等吴俊升说话，张作霖一本正经地说，“兴权（吴俊升字）！你怎么这时才来，我正等你，好办交待，你干不比别人干强吗？我交待完，你叫我住在哪里，我就住在哪里！”吴俊升说：“大帅，咱们不提这个，我在江省有熟地多垧，够我过几辈子了。再说北京政府尽闹把戏，咱们斗不过，北京对付广东还不是这一套，今天撤掉陆荣廷（原两广巡阅使）、明天撤掉陈炳馄（原广东督军）。结果，大家谁都干不成。大帅！你的肩膀比我宽，甚么都能担当得起，叫我在黑龙江剿匪、放马、开垦荒地我会，把我搁在奉天，外国