谢灵运的诗虽然写得很好，但他为人浮躁、性喜奢侈，常常穿着华丽的衣服、乘着高高的车子招摇过市。他虽历任太尉参军、太子左卫卒、永嘉太守等职，但仍自以为未参权要而愤愤不平，这与陶潜弃官归里恰好形成鲜明的对比。
东晋末年义熙年间，庐山东林寺法师慧远与刘遗民等“十八贤”，在东林寺中结社，参禅赋诗，以文会友。因寺中有白莲池，便命名为“白莲社”。白莲社邀请陶潜入社。陶潜性喜饮酒，他知道佛门中不许饮酒，便提出一个条件：“如能准许饮酒，现在我就可以入社。”为了能把陶潜招入社中，慧远法师便破例答应了这个条件。当陶潜来到社中，见无酒可饮，知道是慧远骗他入社，便皱着眉头，十分不快地离去了。后来，谢灵运听说此事，便主动申请入社。然而，慧远法师认为他心杂不静，没有同意他入社。所以，有人据此写出这样的诗句：“陶令醉多招不得，谢公心乱去还来。”
谢灵运的诗虽清新自然，但社会意义不大，其成就远不如陶潜，这与他们品格上的差异是有关系的。