耿秉登燕然山刻石纪功而还。二年，再出击北的奴，北单于受伤逃走。
三年，汉军又出击金微山大败北匈奴军，北单于率残部西逃手乌孙小与康居，被迫西迁。
逃至乌孙立足后，北匈奴仍然出没于天山南北，实施掠夺。为了对付西域的北匈奴，汉廷任命班勇为西域长史，班勇于汉安帝延光二年及汉顺帝永健元年先后两次击败北匈奴。顺帝永和二年，汉将斐举率军击毙北匈奴呼衍王于巴里坤；桓帝元嘉元年，司马达率汉军出击蒲类海，击败北匈奴新的呼衍王，呼衍王率北匈奴又向西撤逃。
至此，北匈奴已无法再在西域立足，对汉廷也再构不成威胁。狂帝末年，北匈奴的一部分又再次西迁，其后便无北匈奴的消息了。
其实自永元三年，北匈奴西迁之后，便已对汉廷构不成什么威胁了。其后的抢掠搔扰，也只是在西域，对中原可说无任何影响。到桓帝时，北匈奴再西迁，中原都不闻其消息了。所以，这时的汉末时期，说匈奴便主要是指内附归汉被安置在河套地区的南匈奴。但南匈奴虽说是归附，其实仍是相当自治。其间与汉朝政府也是时战时和，反复无常。再加其部因借着汉朝的军力多次大败北匈奴，接纳了大量的降众，虽使势力大增小但也因此部族成分复杂，难以驾驻控制，造成内部不隐，时有叛乱，多位南单于都被叛军所杀。
曾经强大的匈奴，至此时已是非常的衰败。在漠北已无立足之地，北匈奴被迫一再西迁，世居的草原被鲜卑所占领，其统治也被鲜卑逐渐取代。南匈奴虽在接收了北匈奴的大量降众后势力大增，但在永元六年，其部又生了一次大变小使得匈奴又再次分裂。
永元六年，南单于师子立。但新降的北匈奴部众却对师子不服十五部二十几万人皆叛变，胁迫前单于屯屠何之子奥键日逐王逢侯为单于，匈奴再次分裂。东汉派大军以及乌框、鲜卑兵共四万人大败逢侯，逢侯遂率众出塞，汉军追赶不及，使其逃走。
汉安帝永初元年，逢侯趁东汉放弃西域之际，控制西域，胁迫诸国共同搔扰东汉边疆十几年。安帝元初六年，逢侯被鲜卑击败。遂率领百余人投降汉朝。这一次的大变与逢侯率部出逃使得南匈奴的实力一下子便大为削弱，东汉朝廷也因此对南匈奴的管理越加严厉。在东汉中期及以后一再生南单于被汉朝官员拘补、更换、逼死甚至杀害。
黄巾起义、董卓专权之际，南匈奴又再次生内乱，族人杀死单于羌渠，其子左贤王於夫罗即位。而参与者恐被报复不认可新单于，又另行拥立一位新单于须卜骨都侯，於夫罗势弱，遂率部前往汉廷求助。抵达长安之时，正值董卓新死，李、郭反攻长安之际。李、郭因怕不能攻下长安，联合一切可联合的人，於夫罗正于此时而来，也被李、郭所联合。
於夫罗见汉廷大乱，李、郭势大，也便答应了协同二人，李、郭等人攻下长安之际，於夫罗趁机率部进长安城中抢掠一番，蔡文姬便是在南匈奴的这番抢掠之中被匈奴人所掳。
李、郭掌控朝廷之后，於夫罗得了二人当初答应的赏赐，又闻留于河套的族人拥立的另一单于须卜骨都侯已死，便率众而返。兴平二年至河东时，於夫罗死，其弟呼厨泉立。呼厨泉在平阳停驻一段时间后，又继续率众归返河套，至去年已还河套。
须卜骨都侯死后，河套的匈奴人未再立单于，而由各族领、长老联合议政，权行南庭之事。呼厨泉斑返河套，答应不追究当年之事，各族领也便答应拥立他为南单于。