謝無奕性粗強。以事不相得，自往數王藍田，肆言極罵。王正色面壁不敢動，半日。謝去良久，轉頭問左右小吏曰：“去未？”答雲：“已去。”然後復坐。時人嘆其性急而能有所容。
夏侯湛作周詩成，示潘安仁。安仁曰：“此非徒溫雅，乃別見孝悌之性。”潘因此遂作家風詩。