，所以玄宗任命的这个天下兵马大元帅，也就没有了着落。至德元年九月，肃宗即位后的两个月，肃宗曾经与他儿时的密友李泌讨论天下兵马元帅的人选问题。肃宗采纳了李泌的建议，任命广平王“为天下兵马元帅，诸将皆以属焉”。到大历八年(773)罢天下兵马元帅，这个临时的全国最高军事指挥部，存在了18年。
天下兵马大元帅府设副元帅、元帅府行军长史、元帅府行军司马等高级官员。肃宗时的天下兵马元帅府设在禁中。李泌为元帅府行军长史，宦官李辅国判元帅府行军司马。长史与司马的关系，一般是长史管财、粮政，司马主军政。
元帅府的工作是重要和繁剧的。前线各地作战将领向元帅府反映军情、请示汇报军务，都由元帅和长史先行研究，然后奏请皇帝批准。但是，至德二年九月，长安收复，行军司马李辅国“请取契钥付泌，泌请使辅国掌之”，得到了肃宗的首肯。这时候，李泌坚决要求归山。辞去了元帅府行军长史的职务，估计也就是这个时候，李辅国作为判元帅府行军司马掌握实权的。
行军司马有三方面职权：平时的军训；战争状态下决定进攻和防守的法则，所谓“有役则申战守之法”；此外还主管武器装备、后勤供给、军队名籍等军事行政工作，所谓“器械、粮备、军籍、赐予皆专焉”。总而言之，行军司马辅佐元帅处理一切军务，这就是所谓“掌弼戎政”的含义。李辅国担任了这么重要的一个职务，所以才能够专权，史称：“太子詹事李辅国，自上在灵武，判元帅行军司马事，侍直帷幄，宣传诏命，四方文奏，宝印符契，晨夕军号，一以委之。”
当李辅国察觉肃宗听从李岘的建议，对他有所压制时，李辅国主动提出“让行军司马，请归本官”，即太子詹事，。乾元二年(759)七月，由于张良娣的阴谋，突然任命赵王为天下兵马元帅。但是，赵王并没有什么权力，大权仍然在李辅国手中。所以李辅国为张良娣所嫉恨。宝应元年(762)四月赵王被杀，代宗即位于肃宗灵柩前，任命王子李适为天下兵马元帅，仍然以李辅国为行军司马。六月罢辅国兵权，命右武卫大将军药子昂代判元帅府行军司马，左武卫大将军彭体盈代为闲厩、群牧、苑内、营田、五坊等使，史称辅国由此“失势”。
药子昂实际上并没有接任行军司马的职务，而是“固辞，乃以命（程）元振，封保定县侯。再迁骠骑大将军、邠国公，尽总禁兵”。宦官程元振为元帅府行军司马而尽总禁兵，透露出这一职务的重心在向典掌禁军的方向发展。广德元年(763)十月，代宗以宰相元载判天下兵马元帅行军司马，改变了宦官担任这一重要职务的局面。
元帅府的重要官员都由皇帝直接任命。除长史、司马外，至德二年四月，肃宗又任命郭子仪为天下兵马副元帅。在此期间，还出现了地区性的兵马副元帅。如，广德二年正月郭子仪为河东副元帅，十二月又加郭子仪关内、河中副元帅；同年五月则解除了仆固怀恩河北副元帅和单于、镇北副元帅的职务，同年七月，李光弼死在河南副元帅任上。这些地区性的副元帅，是方面军的最高军事长官，可以统帅某一战区全体作战部队。如肃宗上元二年(761)五月，李光弼复为河南副元帅，都统河南、淮南东西、山南东、荆南、江南西、浙江东西八道行营节度，出镇临淮。也就是说，李光弼坐镇临淮，可以指挥和调度上述八个藩镇派到河南战场的军队。
但是，副元帅对于前方将军的节度能力是十分有限的。各个节度行营的军队具有相当大的独立性。乾元二年七月，肃宗命李光弼为天下兵马副元帅。八月，光弼等九节度使围困安庆绪于相州，光弼并没有统帅诸军的权力。所以史称相州之败的重要原因之一就是诸军没有统帅。时朝廷罢郭子仪兵权，任命李光弼代郭子仪为朔方节度使、河东兵马副元帅。
德宗以后，朝廷设置左右神策中尉，掌管中央军权，除了唐末昭宗一度以辉王为元帅外，安史之乱期间出现的天下兵马元帅一职不复出现。地方上则有行营节度使、行营招讨使和行营都统等职。都统是安史之乱期间出现的方面军政长官的称号。乾元元年(758)十二月，由当时的户部尚书除都统淮南、江东、江西节度、宣慰、观察处置等使，史称这是都统名官之始。上元二年(762)，李若幽除户部尚书，充朔方、镇西、北庭、兴平、陈郑等九节度行营兵马都统处置使。从这些官名看，它的职权几乎与方面副元帅没有差别，只是任职者军事资历比较浅而已。
安史之乱期间，在设置都统的时候同时存在着方面副元帅，二者的统属关系不太明晰。安史之乱以后，凡调发诸道藩镇军队作战，大体都要由中央任命一名都统，节制诸道节度行营兵马。如建中元年(780)十二月，以汴州节度使李勉充河南、汴州、宋滑亳、河阳等道都统使。元和四年(809)九月，以宣武节度使韩弘充淮西诸军行营兵马都统。大中五年(851)五月，以门下侍郎、同平章事白敏中充邠宁节度使、招讨南山、平夏、党项兵马都统处置使。都是表面都统可以从中央派遣，也可以从所在战区的节度