没有攻下来，长期相持。这时恰逢燕昭王死去，他的儿子立为燕惠王。惠王从做太子时就曾对乐毅有所不满，等他即位后，齐国的田单了解到他与乐毅有矛盾，就对燕国施行反间计。燕惠王本来就已经怀疑乐毅，又受到齐国反间计的挑拨，就派骑劫代替乐毅任将领，并召回乐毅。乐毅害怕回国后被杀，便向西去投降了赵国。赵国把观津这个地方封给乐毅，封号叫望诸君。
替换乐毅的燕将骑劫果然在即墨城下把骑劫的军队打得大败，接着田单追逐燕军，向北直追到黄河边上，收复了齐国的全部城邑，并且把齐襄王从莒邑迎回都城临淄。燕惠王很后悔派骑劫代替乐毅，致使燕军惨败损兵折将丧失了占领的齐国土地；可是又怨恨乐毅投降赵国，恐怕赵国任用乐毅乘着燕国兵败疲困之机攻打燕国。
燕惠王就派人去赵国责备乐毅，同时向他道歉说：“先王把整个燕国委托给将军，将军为燕国战败齐国，替先王报了深仇大恨，天下人没有不震动的，我哪里有一天敢忘记将军的功劳呢！正遇上先王辞世，我本人初即位，是左右人耽误了我。我所以派骑劫代替将军，是因为将军长年在外，风餐露宿，因此召回将军暂且休整一下，也好共商朝政大计。不想将军误听传言，认为跟我有不融洽的地方，就抛弃了燕国而归附赵国。将军从为自己打算那是可以的，可是又怎么对得住先王待将军的一片深情厚意呢？”
乐毅写了一封回信，也就是千古著名的《答燕惠王书》。这封书信里，乐毅回顾了自己为报答燕昭王的知遇之恩，一心为燕国鞠躬尽瘁的经历为自己鸣冤叫屈，痛斥进谗言的小人，反复说明自己被迫投奔赵国的无奈。他说：
“开端好的不一定结局好。从前伍子胥的主张被吴王阖闾采纳，吴王带兵一直打到楚国郢都；吴王夫差不采纳伍子胥的正确建议，却赐给他马革囊袋逼他自杀，把他的尸骨装在袋子里扔到江里漂流。吴王夫差不明白先前伍子胥的主张能够建立功业，所以把伍子胥沉入江里而不后悔；伍子胥也不能预见君主的气量、抱负各不相同，因此致使被沉入江里而死不瞑目。免遭杀身之祸而建功立业，彰明发扬先王的事迹，这是我的上策。遭到侮辱以至诽谤，毁坏先王的名声，这是我所最害怕的事情。面临难以预测的罪过，把幸免于杀身之祸作为个人渔利的机会，这是恪守道义的人所不敢作出的事情。我听说古代的君子，绝交时不说别人的坏话；忠良的臣子离开原来的国家，不洗雪自己的罪过和冤屈。我虽然无能，但多次聆听君子的教导了。我恐怕先王侍从听信左右近臣的谗言，不体察被疏远人的行为。所以献上这封信把我的心意告诉您。希望君王留意吧。”
于是燕惠王又把乐毅的儿子乐间封为燕国昌国君；而乐毅往来于赵国、燕国之间，与燕国重新交好，燕、赵两国都任用他为客卿，一度还曾担任赵国的相国，乐毅最后病死于赵国。乐毅的侄子乐乘担任了赵国的军事将领。
公元前251年，燕王喜采用他的宰相栗腹的计策，打算攻打赵国，便询问昌国君乐间。乐间说：“赵国，是同四方交战的国家，它的百姓熟悉军事，攻打它是不行的。”燕王喜不听，于是攻打赵国。赵国廉颇还击燕军，在鄗（hao）地把栗腹的军队打得大败，擒获了栗腹、乐间。燕国割让了许多土地向赵国求和，赵军才解围而去。
在这里，需要指出司马迁的《史记》里一处明显的错误：
《史记·乐毅列传》中说：“於是燕王复以乐毅子乐间为昌国君；而乐毅往来复通燕，燕、赵以为客卿。乐毅卒於赵乐间居燕三十馀年，燕王喜用其相栗腹之计，欲攻赵，而问昌国君乐间。乐间曰：“赵，四战之国也，其民习兵，伐之不可。”燕王不听，遂伐赵。赵使廉颇击之，大破栗腹之军於鄗，禽栗腹、乐乘。乐乘者，乐间之宗也。於是乐间奔赵，赵遂围燕。燕重割地以与赵和，赵乃解而去。”被俘的是乐乘，乐间是自己逃到赵国去的。
可是，《史记。赵世家》里面却说：“十五年（公元前251年），以尉文封相国廉颇为信平君。燕王令丞相栗腹约驩，以五百金为赵王酒，还归，报燕王曰：“赵氏壮者皆死长平，其孤未壮，可伐也。”王召昌国君乐间而问之。对曰：“赵，四战之国也，其民习兵，伐之不可。”王曰：“吾以众伐寡，二而伐一，可乎？”对曰：“不可。”王曰：“吾即以五而伐一，可乎？”对曰：“不可。”燕王大怒。群臣皆以为可。燕卒起二军，车二千乘，栗腹将而攻鄗，卿秦将而攻代。廉颇为赵将，破杀栗腹，虏卿秦、乐间。十六年（前250年），廉颇围燕。以乐乘为武襄君。率师从相国信平君助魏攻燕。秦拔我榆次三十七城。十九年，赵与燕易土：以龙兑、汾门、临乐与燕；燕以葛、武阳、平舒与赵。”－－－－－－被俘的成了乐间！可能是乐乘此时怕受牵连而逃奔赵国的？
司马迁这处错误很不应该，乐毅家族可是名门望族啊！二十年之后，汉高帝经过原来赵国属地，还询问那里的人说：“乐毅有后代吗？”回答说：“有个乐叔。”汉高帝把乐卿封赐给他，封号称华成君。后世经过不少专家考证，倾向于