为季氏家臣的阳虎却不让他进去，并对孔子说：“季氏飨士，非敢飨子也。”也就是季氏宴请天下名士，你怎么敢来。这句话无疑给这位17岁的少年心灵带来了极大的伤害。其实，这件事情也不能全怪阳虎，他不过是照规矩办事罢了。但后人以此作为孔子“见辱于阳虎”的证据。
另一件事围于陈蔡说起来就有点牵强，公元前497年，阳虎已经跑到了赵鞅这里，那时候孔子周游列国至匡（即陈蔡）时，被匡人误为阳虎，“拘焉五日”。后经人再三解释，消除误会，孔子才“得去”。这次事件，孔子及其徒子徒孙们一直耿耿于怀，将账算在阳虎身上。不过今天看来，这些事也不算什么，谁叫你们长得那么像，难道长得像有错吗？
虽然二人之间有矛盾，但是阳虎对于孔子还是很看重的。随着年龄的增长，孔子在社会上的声名亦与日俱隆。为此，阳虎想请孔子出来，封他个一官半职，为季氏做事，亦可借此笼络人心。但由于政见不同，加之二人间又有过节，所以孔子一直隐而不见。无奈之下，阳虎只得用计，逼孔子出来。《论语·阳货》（孔子在他的书中一直将阳虎称为阳货）中有记载：阳货想会见孔子，孔子不去见他。于是，阳货想了一个办法，给孔子送去蒸熟的小猪。根据当时礼尚往来的原则，孔子在收到礼物以后，应该登门拜谢。孔子不想见这个人，就趁他不在家的时候去拜谢他，结果被阳虎截住了。阳货对孔子说：“来，我有话要跟你说。”阳货接着说：“有才能却怀着不用而听任国家迷乱，这可以叫做仁爱吗？”阳货自答：“不可以。”阳货说：“喜欢参与政事而又屡次错过机会，这可以说是聪明吗？”阳货又答：“不可以。”阳货说：“时间一天天过去了，岁月是不等人的。”孔子说：“好吧，我答应你，去做官了。”
由此可见，阳虎还是很有智慧的，应该算是中国历史上一位了不起的人物。孔子及其徒子徒孙骂他，是因为政见不同和私人恩怨。看来文人不好得罪，一旦得罪了，真可谓是永世不得翻身呀！