衛靈公與彌子瑕之間產生了著名的“分桃”典故,事情的原委是君臣二人共游果園,彌子食桃而甘,未盡,遂以其半遺君。靈公食而甘之,曰“愛我哉!忘其口味以啖寡人。”後來彌子色衰愛弛,靈公便拿此說事,責怪道“是曾啖我以余桃!”孔子和他們同時,曾經出仕於衛,受到了衛靈公的禮遇,他的學生子路和彌子瑕是連襟關係。
衛靈公還喜歡宋國公子朝。宋朝相貌俊美,他既受靈公寵幸,又與靈公夫人南子有私。姦情路人皆知,一次衛太子過宋,宋人歌之曰“既定爾婁豬,盍歸吾艾豭?”意思是說你們求子的母豬已經得到了滿足,為什麼還不歸還我們那漂亮的公豬?於是後世出現了“婁豬艾豭”的說法,艾豭指靠著與家主的同性戀關係而私通家主妻妾的人。