劉遵祖少為殷中軍所知，稱之於庾公。庾公甚忻然，便取為佐。既見，坐之獨榻上與語。劉爾日殊不稱，庾小失望，遂名之為“羊公鶴”。昔羊叔子有鶴善舞，嘗向客稱之。客試使驅來，氃氋而不肯舞。故稱比之。
謝公領中書監，王東亭有事應同上省，王後至，坐促，王、謝雖不通，太傅猶斂膝容之。王神意閑暢，謝公傾目。還謂劉夫人曰：“向見阿瓜，故自未易有。雖不相關，正是使人不能已已。”
羊孚年三十壹卒，桓玄與羊欣書曰：“賢從情所信寄，暴疾而殞，祝予之嘆，如何可言！”