晋武帝司马炎泰始二年（266），祖逖生于范阳郡遒县。古代燕赵多慷慨悲歌之士，官宦家庭出身的祖逖，从小性格豪放，表里如一，说到做到，喜欢结交朋友，不受世俗礼法束缚。
祖逖年轻的时候，就怀有雄心壮志，喜欢和英雄好汉谈论天下大事。他们激情满怀，互相鼓励，表示将来一定要为国家干一番大事业。
晋武帝太康十年（289），24岁的祖逖和好友刘琨一起在司州做主簿。有一天夜里，他们同睡在一张床上。半夜里鸡叫头遍时，祖逖就叫醒刘琨说：“你听听，这鸡叫的声音多么激越，那是在催促我们起来，叫我们发愤图强啊！”他们两人兴奋得再也睡不着，就披衣起床，拔剑起舞，觉得浑身有用不完的力量。从此，只要鸡叫头遍，他们就拔剑起舞，练习武艺，准备为国出力。
在匈奴贵族刘渊攻下洛阳的时候，祖逖也和别人一样，带着家属、亲戚、朋友几百家，离开北方南下，到了江南。一路上，祖逖将自己的车马让给年老体弱的人乘坐，把粮食、衣服、药物拿出来和大家分享。
时任镇东大将军的司马睿见祖逖是个人才，派他做了军咨祭酒。这种官职只能提提建议，没有军事实权。祖逖为了收复中原，招集了许多勇敢而有胆识的壮士，练习武艺，学习兵法。
晋愍帝建兴元年（313），祖逖向司马睿建议说：“北方大乱，是由于皇族内部争权夺利，互相残杀，这才使得胡人得以乘机兴兵，扰乱中原，给中原人民带来了深重的苦难。如今北方人民都在反抗胡人，假如大将军能下令出兵，派我北伐，定能得到天下人的响应。收复中原，国家的耻辱也就能够洗雪了。”
当时，司马睿正忙着巩固江南地盘，只求维持现状，并不打算出师北伐，收复中原。可是，统治集团中也有一些人不甘心忍受国家残破的局面，立志要驱走敌人，收复失地，祖逖就是其中的一个。司马睿虽然没有北伐的决心，但是祖逖这番义正词严的要求，是没有理由拒绝的。何况为了巩固政权，争取人心，打出北伐的旗号也是好的。于是，他任命祖逖为奋威将军，兼任豫州牧，给了他一千人的给养和三千匹布，让他自己去招兵买马，制造武器，准备北伐。
虽然条件这样差，可祖逖并没有灰心，他非常珍视这个机会。他带领亲信部属一百多人渡过长江，向北进发。
那天，人们听说祖逖渡江北伐，纷纷赶来送行，祝他早日收复中原。祖逖一身戎装，显得威武雄壮。壮士们满怀信心地乘船出发了。
船到江心时，祖逖敲着船桨，当众誓师说：“我如果不能肃清中原的敌人，决不再过这条大江！”祖逖这铿锵有力的誓言，在江面上久久回荡，深深鼓舞了大家。
祖逖渡江后，进驻淮阴。他们先在那里起炉炼铁，制造武器，又招募了两千多壮士，然后继续向北进发。江北百姓听说祖逖北伐，都热烈欢迎。他们给祖逖送粮送信，帮助他打击敌人。
在百姓的支持下，几年之间，祖逖就收复了长江以北黄河以南的大部分地区。
当时，北方是在后赵的统治之下，后赵是羯族人石勒建立的。祖逖领兵继续北进，跟石勒展开了激烈的战斗。
有一次，祖逖手下的将领韩潜和后赵将领桃豹争夺一个叫蓬陂的城堡。韩潜占了东城，住在东台；桃豹占了西城，住在西台。
晋军从东门进出，后赵军从南门进出。双方对峙了四十多天，粮食供应发生了困难，都感到难以坚持下去了。祖逖为了战胜对方，跟韩潜商量，定下了一条计策：叫部下用许多麻袋装上土，假装是粮食，派一千多人运上了东台。又派几个人搬运一些真的米袋，故意装作疲劳的样子，在路上休息。桃豹的士兵早就饿坏了，见了运米的晋军，就追赶过来。祖逖的部下故意丢下米袋就跑，桃豹的士兵抢到了米，见祖逖军队粮食这样充足，军心开始动摇了。
这情况很快传报到石勒那里，为了稳定军心，石勒火速派人赶着一千多头驴运送粮食，去接济桃豹。祖逖得知这个消息，立刻派韩潜等带领一支人马去路上埋伏，在汴水岸边打败了后赵的运粮队，夺得了全部粮食。
桃豹听说粮食被抢，知道无法坚持，只得连夜率军逃跑了。
祖逖打了许多次胜仗，使石勒不敢南窥了。
晋元帝大兴三年（320）七月，晋元帝提升祖逖为镇西将军，但不给他实际帮助。祖逖虽然做了将军，生活却仍然很俭朴，他常常用节省下来的钱帮助部下解决困难。他和将士们同甘共苦，认真训练军队，准备继续向黄河以北挺进。为了安定后方，祖逖积极奖励农业生产，安排好从匈奴人和羯人统治地区逃出来的官兵和百姓。他还认真做好争取人心的工作，对那些曾经为后赵做过事的人放手任用，不怀疑他们。那些人都很感激祖逖，遇到后赵军队有什么动静，就赶快向祖逖报告，使祖逖能及早准备，迎头痛击敌人。
祖逖收复中原的措施，得到了广大人民的真诚拥护。老年人在一块儿谈话的时候，个个竖起大拇指赞扬祖逖。他们说：“我们已经老了，现在又见到了祖逖这样的好官，死了也没有什么遗憾了。”有的人还编了歌谣，到处传唱。歌中说“：祖逖来了，暗淡的日月星辰再放光芒。我们这些幸存者，不再做俘虏了。让我们用葫芦盛上美酒，再带上一束干肉，唱着歌，跳着舞，去慰劳我们敬爱的祖将军！”
祖逖节节胜利，在中原不断发展壮大，引起了晋元帝的妒忌。他不再支持祖逖继续前进，还派人去监视他，要夺他的兵权。
大兴四年（321），晋元帝派尚书仆射戴渊做征西将军，掌管司、兖、豫、并、雍、冀六州的军事，坐镇合肥，来做祖逖的顶头上司。戴渊是南方人，徒有虚名又无远见卓识，不懂军机而妄自尊大，是个没有作为的人。祖逖受他节制心中怏怏不快。
祖逖见朝廷不信任他，感到恢复中原没有希望了，他的内心痛苦到了极点。这年九月，祖逖含恨而死。
祖逖去世的消息传出后，百姓伤心得像死了父母一样，悲痛万分。人们在谯县为祖逖建造了一座祠堂，表示对他的永远怀念。