东晋初年,司马睿陆续控制或消灭了一些心怀不满的南方豪族武装,隐定了自己在江南的统治。但司马睿只想做个偏安皇帝,从来不作北伐收复北方国土的准备,而且还对主张北伐的人士进行排斥。
        从洛阳南来寄居京口(今江苏镇江)的祖逖,慨然以收复中原为己任,他在上司马睿书中,陈述了北方人民反对民族压迫的迫切愿望,也估计到北方汉族地主可以合作抗“胡”。建兴元年(313),祖逖率领百余家部曲,渡江北上。他在长江中击楫发誓说:“祖逖不能清中原而复济者,有如大江。”他的豪迈誓言,表达了汉族人民反对民族压迫的壮志。
        祖逖驻在淮阴,一面招集流散民众,扩充队伍,一面冶炼兵器,屯田积谷。他自己勤劳节俭,不蓄私产,与将士共甘苦。他进军太立、谯城、雍丘(今河南永城、夏邑、杞具)一带,控制了一些坞壁的地主武装,利用他们去对付石勒。不到几年,祖逖军队收复了黄河以南大部土地,迫使石勒不敢过河。这种形势对东晋非常有利,但遗憾的是晋元帝怕祖逖功高难制,于己不利,派戴渊都督北方六州诸军事,指挥祖逖军,并扼制祖逖军后路。同时东晋统治者内部明争暗斗非常激烈,王敦之乱已经在酝酿中。这些情形,使满腔热忱幻想统治者能给予支持的祖逖忧愤成病,晋元帝大兴四年(321)祖逖病死军中,时年55岁。
        祖逖是当时识大体有才能的杰出人物,他北伐的立脚点是依靠人民,收复失地,但他也寄希望于偏安江南的统治者,希望皇帝能给予支持。封建时代的皇帝是惧怕民众的,晋元帝司马睿绝不希望民众强大,来威慑自己的统治,他是宁可不要北方,也要保住自己皇帝宝座。因而祖逖希望能得到朝廷的支持只是一种幻想而已,是绝对不可能的。祖逖的北伐失败,也就成为一种必然。倘若祖逖北伐成功历史将是另一种面目,遗憾的是北伐终未成功。