陶侃是东晋时期庐江浔阳（今江西九江）人，他很小的时候父亲就死了，家里很贫困。后来他在浔阳做县吏，负责管理全县的鱼塘。有一次，他派人带了一坛腌鱼送给母亲。他母亲收到鱼后，却原封不动地退了回去，并写信责备陶侃说：“你在外面当县吏，利用职务上的方便，把公家的东西送给我，这不仅对我没好处，反而增加了我的忧虑。”正是由于陶母的严格要求，方使陶侃公私分明，不贪图财物，日后成为一代名将。
陶侃本来是东晋权臣王敦的部下，由于他立了战功，被任命为荆州刺史。但有人妒忌他，在王敦面前说他的坏话，王敦便把他调到偏僻的广州任刺史，实际上是降了他的职。
东晋时，中原地区为少数民族匈奴、鲜卑、羯族人占据。统治集团内部争权夺利，无心收复中原。陶侃却立志要收复中原。他并没有因降职而垂头丧气，到广州后，陶侃每天早晨把100块砖头从书房搬到屋外，晚上，再把这100块砖运到屋里，坚持不断。有人好奇地问他为什么这么干，陶侃回答说：“我虽然身在南方，但我立志要收复中原。如果生活太安逸了，身体得不到锻炼，将来国家需要我的时候，还怎么能担负起重任呢？”
后来，朝廷任命他为征西大将军兼荆州刺史。他的官虽然做大了，但办事仍旧十分勤奋谨慎，不管公务多么繁忙，他总是严肃认真地处理，事无巨细，他都要过问。他常说：“大禹是个圣人，都要爱惜每一寸光阴，我们这样的普通人就更应该珍惜光阴才对”。他手下的一些官吏，崇尚清谈而不和实际，常常因为下棋、喝酒、赌博耽误公事。陶侃便把他们的酒器、棋具、赌具，一股脑儿扔到江里，还用鞭子狠狠地抽了他们一顿。从这以后，官吏们再不敢喝酒赌博聊天了。
陶侃还很重视农业生产，珍惜农民的劳动果实。有一次他到郊外视察，看见路边一个人手里拿着一把尚未成熟的稻穗在玩，便问：“你拔这稻子有什么用啊？”那个人说：“没什么用，走在路上看见，顺手摘一点玩玩而已，陶侃听了，勃然变色说：“你自己不耕田，却要无缘无故地毁坏人家的庄稼玩，真是岂有此理！”于是命人把那人捆起来，抽了一顿鞭子。这件事很快传开了，人们见刺史这么爱惜人力，保护庄稼，就更加勤快地种田，人人勤劳节俭，荆州地区很快就富裕起来了。
荆州地处长江边，官府造船常有许多废弃不用的木屑和竹头，以往都烧掉了。陶侃觉得随便丢掉、烧掉可惜，就让人统统收拾起来，存放在仓库里，后来赶上下雪后官员们来官府开会，由于天气放晴积雪融化，地面泥泞湿滑很不好走，陶侃就让人把仓库堆放的木梢拿出来铺地，这样走路就不怕摔跤了，而那些竹头又可以当竹钉造船用。
由于陶侃执法严明，勤劳节俭，爱惜百姓，因此人们都称赞他像三国时的诸葛亮。