會稽孔沈、魏顗、虞球、虞存、謝奉，並是四族之俊，於時之桀。孫興公目之曰：“沈為孔家金，顗為魏家玉，虞為長、琳宗，謝為弘道伏。”
謝公聞羊綏佳，致意令來，終不肯詣。後綏為太學博士，因事見謝公，公即取以為主簿。