孔子出了深宫，迎面遇上了子路。秉性直率、言行粗鲁的子路竟怒形于色，使孔子心里觉得不是滋味，就像自己做错什么似的，对天发誓道：“我如果有什么地方做的不对的话，就让老天爷惩罚我吧！”
过了一段时间，卫灵公邀请孔子一起出游，孔子十分愉快地被接到另一辆车上。车队招摇过市，帝丘(今河南濮阳)的百姓纷纷上街看热闹。有人见了这场面说：“孔子虽然被尊为圣人，但还是比不上漂亮的女人重要啊!”
孔子觉得这是一次耻辱的出游，半路上便不告而退，步行着回了家。
事后，不知趣的卫灵公竟兴致勃勃地找孔子谈论那次出游，孔子讥笑他说：“我还没有见过这样的国君，竟然把漂亮女人看得比有道德有学问的君子还重要，真是太不像话啦!”
卫灵公觉得孔子说得太重，太不给人留面子。从此，卫灵公就疏远了孔子。
孔子觉得卫国已不是安身之地了，便决定离开卫国到晋国去。
孔子离开卫国，有一位大臣代表南子来送他，大臣请孔子留言。孔子不禁冷笑着嘲讽道：“世上唯有女人和小人是难与相处的，你亲近他们呢，他们就对你不尊重；你疏远他们呢，他们又会怨恨你。这种女人与小人实在难以改造啊！”
【子曰】
唯女子与小人为难养也，近之则不逊，远之则怨。（《论语·阳货》）
【启示】
孔子说，只有女人和小人是最难相处的，如果亲近他们，他们就认为你放肆，如果疏远他们，他们又抱怨。孔子这是有感而发，表面说的女人和小人，实际上是对迷恋女色和被小人包围的卫灵公的不满，同时也比喻了那些不识大体的人，其为人是很难相处的。
五、子路阻行
孔子和弟子们匆匆离开了卫国，向晋国进发。这天，他们来到黄河岸边，等待渡船。傍晚时分，就见成群结队的流民从对岸驶来的船上蜂拥而下，孔子心里一惊：晋国出事了！
子贡拦住难民一问，原来是晋国的执政大臣赵简子在中牟（今河南汤阴县）发动叛乱，杀死了窦鸣犊和舜华两位贤人。赵简子的叛军和平叛的军队，四处开战，使晋国陷入一片混乱，百姓们纷纷逃离家园。一向主张“危邦不居，乱邦不入”的孔子，此时面对黄河，长叹道：“好壮丽的黄河啊！可惜我不能渡过了。”
孔子正准备第二天原路返回，赵简子的使臣赶来拜见孔子，请求孔子前往中牟，和赵简子一同治理晋国的朝政。孔子动了心，就想渡过黄河，到晋国发挥自己的才干去。
孔子正犹豫，子路站出来说：“老师，你曾说过，绝不与乱臣贼子合作共事呀！”
孔子沉思良久，说：“是的，我是说过这样的话。可是，我还说过，坚硬的东西，再磨也磨不薄，真正洁白的东西，再染也染不黑。”
子路仍不死心，劝道：“滴水穿石，近朱者赤，近墨者黑，这只是个时间问题。我想，老师总不能糊涂到以身取不义的地步吧！”
子路的话有些过火，说得孔子很恼火。但是孔子转念一想，子路的劝告不是没有道理，于是打消了去晋国的念头，让子路立即套马到陈国去。
【子曰】
里仁为美。择不处仁，焉得知？（《论语·里仁》）
【启示】