1912年5月，民国改制，原东三省总督改称奉天省都督。赵尔巽虽然依规定继任奉督一职，但他自知不为袁世凯所信任，很快便自请辞职，回京担任了一个清史馆长的闲官。对于空缺出来的奉督一职，张作霖、吴俊升以及冯德麟等东北实力派人物无不垂涎三尺。但对这一职务期望值最高，也最自信能得到这一职务的，无疑是张作霖。
可是张作霖并没有如愿以偿。袁世凯所选定的奉天都督，其实是自己的心腹上将张锡銮。
这个张锡銮正是数年前出任盛京将军的那个“快马张”，袁世凯之所以选他为新任奉督，一来因为他是自己的心腹，唯己之命是从。二来更因为他是张作霖、冯德麟等东北实力派的老上司，想以他来控制张、冯等人就范。
但袁世凯的算盘打错了！今日的张作霖已非昔日的张作霖，今日张作霖眼中的张锡銮更非昔日的张锡銮。张锡銮自己也非常清楚，张作霖当初不顾一切地巴结自己，是因为他还有求于己，想往上爬。而现在，他的军事实力在奉天无人可比，连袁大总统也惧他三分，怎么可能再把自己这个无一兵一卒的都督放在眼里呢？但顾虑终归是顾虑，在袁世凯的再三敦促下，他还是诚惶诚恐地走马上任了。
事实正如张锡銮所预料，当他踏上奉天的土地时，张作霖虽然对他在明里都督前、都督后地叫得比谁都欢，但在暗里却处处设障、时时作阻，令张锡銮几乎寸步难行。尽管袁世凯在1914年又任命张锡銮为镇安上将军，节制东北三省军务，但张作霖仍未将其放在眼里。有一次，奉天军务课课长之位空缺，张锡銮没与张作霖商量便任命自己的参谋熙洽继任，张作霖知道后大为不满，但他不动声色，静待时机。某日，熙洽上门拜见张作霖，张作霖没好气地大嚷道：“打哪儿冒出你这个军务课长来了？是不是要给我张某人发号施令呢？”如此露骨的讽刺，把熙洽弄得坐也不是站也不是，一回去便向张锡銮递交了辞呈。张锡銮无奈，只好另请张作霖举荐。张作霖二话不说，立即举荐了自己的心腹，第27师正书记官陶历卿接任军务课长。
这样的局面持续了将近三年，张锡銮实在不愿厚着脸皮再留奉天，乃于1915年8月向袁世凯提出了辞职请求，旋即得到袁的批准、这一下张作霖可高兴了，心想奉督之职非己莫属，无人可与己相争。
为了使这一梦想尽快变成现实，还未等张锡銮离开奉天，张作霖便亲自进京，结交各方要人，并到中南海总统府亲见袁世凯。据说他此番进京，故意把自己装扮成一个胸无大志，不问政治，只知效忠大总统的老粗模样，希望以此打消袁世凯对自己的戒备之心。但是袁世凯并未中其“装粗卖傻”之计，除了对张作霖施以财物上的恩惠之外，对奉督一事则只字未提。
果不其然，当张作霖离京反奉不几天，袁世凯的任命书便下来了：接替张锡銮任奉天都督兼东三省镇安上将军的人选并非张作霖，而是袁世凯的另一员心腹爱将段芝贵。
段芝贵与张锡銮有所不同。一来他是袁世凯的铁杆忠臣，与赵秉钧、段祺瑞、王士珍并称为袁门“四大天王”，与袁关系之亲密远在张锡銮之上；二来他年纪较轻，上任时只有56岁，而张锡銮上任时已年近古稀，从年龄上来说二者不可同日而语。除此之外，还有一点令张作霖最撕不破脸面，那就是，段芝贵的父亲段有恒曾是张作霖由绿林投靠清廷时的保人之一，对张作霖有恩在先。袁世凯煞费苦心选中段芝贵执掌奉天军政大权，其真实意图仍在于以段芝贵收拢张作霖之流的不羁之心，让他们真心诚意为自己效劳。
袁世凯的这一人事安排果然有些奏效。当1915年9月段芝贵带领他的600卫士开进奉天之时，张作霖表现出了极大的欢迎热情。他不仅亲自到城门外列队迎接，而且很快与段芝贵互换兰谱，结为“兄弟”。另外，他还亲自登门，给段芝贵送上了大量的金银财宝，以满足段的私欲。
张作霖真是如此欢迎段芝贵的到来吗？当然不是！其实，他的心里有无数的不痛快，只不过段芝贵来头太大，腰杆太硬，得罪他无异等于得罪了袁大总统。毕竟小腿敌不过大腿嘛，张作霖再有实力，再有野心，暂时还不敢在袁世凯这个太岁头上动土！所以，他只能暂时委曲求全，以期能通过段芝贵讨得袁世凯的欢心。
段芝贵进奉之时，袁世凯筹划帝制复辟的活动正紧锣密鼓地开展。段一到奉天，便牵头联络北方各省将军为袁世凯称帝制造声势，张作霖积极响应段芝贵的吆喝，不仅单独上表劝袁世凯早日登基，而且还建议段芝贵在东北搞所谓的公民投票，为袁世凯制造所谓的“民意”。当“公民投票”活动举行时，张作霖又指使他的爪牙们在投票场所荷枪实弹，对投票者进行武力恫吓和监视，务使人人投赞成票而后快。
或许正是因为张作霖等实力派人物的鼎力相助，袁世凯这个巨奸大贼果真于1915年12月公开撑起了帝制大旗。之后，他马上对那些支持过他的实力派人物进行了分封，以表示他的所谓谢意。其中段芝贵被封为一等公爵，张作霖被封为二等子爵。