在千叶胤富与小山高朝分别离开以后，上杉政虎还是在镰仓山内馆（山内上杉家的发源地）又滞留了几天，原因是因为下一任古河公方的人选陷入了争议当中。¤
原来，虽然没能打下小田原城，但关东联军攻陷古河御所这样的城砦，问题还是不大的，随后，那位北条家的傀儡“葛西殿”足利义氏就被驱逐了。
不过上杉政虎与越后诸人却是很清楚，古河公方是不能废除的，因为还需要依靠古河公方来维系关东众人的人心，特别是常陆、房总与下野等国的人心。
然而风波又因为这个问题而在山内馆发生了，上杉政虎的人选，是朝廷关白近卫前久，这位出身摄关藤原家的公卿，倒颇有些豪勇男儿的特色，他与上杉政虎结为义兄弟，她妹妹绝姬和上杉政虎间有段说不清道不明的缘分（上杉政虎一辈子有着三个对其影响甚深的女人，第一个是他的姐姐绫御前，绫御前不但为了稳固弟弟的家业而嫁给了长尾政景，而且还将次子上杉景胜送给了弟弟作为其继承人；第二个女人是伊势姬，这个女人是上野国平井城城主千叶采女之女，当初作为人质送到上杉家，与上杉政虎一见钟情并相恋，后来却由于上杉家与千叶家敌对而迫使两人关系断裂，绝望的伊势姬因此而剃发出家、隐居；第三个女人就是绝姬了，她是近卫稙家之女、近卫前久之妹，上杉政虎已经与其商定了婚姻，然而可惜的是。上杉政虎本欲关东出阵后即去京都迎娶。但绝姬却是因病夭亡了。此时的上杉政虎还不知道他将会与所爱的人阴阳永隔，估计也正是连续遭遇了两段悲惨爱情，他才会从此绝口不提娶妻之事的吧），至于近卫前久本人，则直接离开了京都，来到了杀伐四起的关东，为兄弟上杉政虎撑场子。
不过近卫前久虽然贵为关白，但关东的众人却是没几个人会买他的面子的。公方重臣築田晴助推选的，是足利藤政（足利义氏的哥哥，也是築田晴助姐姐的儿子）；而小山秀纲（小山高朝的儿子）推选的，是被北条家废除的足利藤氏（这位也是築田晴助姐姐的儿子，比藤政和义氏要大）。一帮人各有心思，关东诸将各自站队，在山内馆内吵闹不休。
就这样，时光与粮食，就在这没日没夜的吵闹中，渐渐消磨殆尽。此时关东原本就遭了灾年。现在对小田原的远征，更是让各领主的领地经济雪上加霜。进入四月末后，佐竹、小田和宇都宫也先后离去。而北条家不光是小田原，其余诸如河越、玉绳、泷山等重要城砦，也都在关东联军的攻势下得以保全，北条家并未因此伤筋动骨。
另外一面，北条家在准备防守反击的同时，甲斐的武田信玄也趁机开始对北信浓地区大举行动，这愈发让上杉政虎寝食难安了。就在越后军队倾巢而出，滞留小田原城下时，武田信玄的北信攻势乘虚提速，五月，武田军攻陷了孤立无援的割岳城，而后海津城在武田家众人的努力下，也宣告竣工。
上杉政虎在得知割岳城失陷后，就再也坐不下去了，他必须要结束关东的战事，返回北信浓地区与武田家做个了断了。
为何上杉政虎会坐不住？因为，若是海津城落成，意味着武田家对北信浓支配的确立，那么割岳城的陷落，则表明武田家的匕首，能随时刺进越后上杉的心脏！
割岳城，位于水内郡，高度接近八百米，东面是饭山、丰田，西面是柏原，南面是三水，更重要是它的北面，只要越过一片叫野尻的湖面，就是越后国的境内了。
以前上杉家还能以饭山城为门户，扼住武田家的入侵，而现在武田军以高原之城割岳城为基地，一样能列队杀进上杉政虎的根据地。现在若是寄希望于武田信玄消极无作为，那是极其愚蠢的想法，割岳城的易手，再清楚不过地证明了：武田信玄的目标不单单是信浓地区，很可能还有越后国，因为越后国有丰饶的大海，有白色的黄金——盐，有垄断全国的青苧产地，有平整的街道，有河川与肥沃的土地，这点对山里的武田信玄的诱惑力还不够吗？更何况武田信玄就是个贪得无厌的大名。
而武田信玄的确是一个想到就会做到的男子，同样是永禄四年五月，在甲州金的引诱下，越中国的本愿寺首先蜂起，这些净土真宗门徒撕毁了先前与上杉政虎的不战协定，上杉政虎的“安宁后院”不复存在。另外，深入相模的上杉军的后方，武藏国松山城的上田朝直，也接受了武田信玄与北条氏康的贿赂，举旗造反了。更加要命的是，在得到了武田家与骏河今川家的援军支援后，北条家也从乌龟壳小田原城中追击而至了，。
这一点很要命，首先是那位上田朝直一向号称“退路粉碎机”，当年他第一次变节，让太-田资正没了退路，只得投降北条家，这次他第二次变节，轻车熟路，志向更大，要断了新关东管领的退路。而北条家、武田家、骏河今川家的追兵也令上杉政虎头痛不已。
上杉政虎这个时候已经功败垂成，他别无选择，只得留下足利藤氏、近卫前久（这位胆子够大的）留在古河御所，自己则是率领着越后军自五月开始，朝着上野国方向缓缓退去，顺路攻陷了松山城，“退路粉碎机”上田朝直反被“