東晉南朝時期，京口(今江蘇揚州)是南方政權在江東的軍事重鎮，時稱北府。這裡是北方南下流民集中留居的地方，也是南方政權的主要兵源所在。東晉大臣郗鑒、桓溫均以此為基地組建軍隊，並募北方流民和江淮間富有戰鬥經驗的農民，在京口組成一支精銳部隊，號稱「北府兵」。桓溫死後，謝安當政，遣其子謝玄去京口重新組建北府兵，其時北府兵的士卒和下層將領皆由招募而來，他們多為北方南下流寓淮南的流民及流民武裝的首領，有豐富的作戰經驗，驍勇善戰。北府兵對東晉後期的局勢產生了重大影響。太元八年(383年)，在淝水之戰中，東晉北府兵以少勝多，擊敗了前秦的數十萬大軍。這支軍隊還曾鎮壓了孫恩、盧循率領的反晉起事。