自公元前3世纪起，在单于的统治下，匈奴人控制着内、外蒙古，单于驻地选择在鄂尔浑河流域。公元前44年，当一位名叫郅支的首领被对手赶出父辈之地蒙古向巴尔喀什湖地区（即今哈萨克共和国）迁徙时，匈奴中出现了第一道裂缝。于是东、西匈奴间产生了分离；在蒙古的东匈奴仍然是中国的敌人，在巴尔喀什湖和咸海草原上的西匈奴，在匈人（阿提拉的先辈们）的名称下后来成为罗马世界的敌人。

公元48年，东匈奴帝国内部分裂；在南方的，或者说在内蒙古的8个匈奴部落，从那些仍忠于鄂尔浑地区单于的匈奴人中分裂出来。于是形成了明显的新集团：外蒙古鄂尔浑河流域的北匈奴和长城以北内蒙古的南匈奴。正如刚才我们所看到的那样，北匈奴大约在公元155年已经被鲜卑人降服，鲜卑人是起源于蒙古东部、满洲边境的兴安岭地区的蒙古族游牧部落。如上所述，鲜卑人当时控制着从满洲边境到接近哈密和巴里坤地区之间的地带。

接近汉末时，南匈奴（从现在起我们将专门论述南匈奴）在鲜卑人的压力之下进一步南进，他们逃入黄河河套、鄂尔多斯草原和阿拉善附近地段，在三国时期（220－265年），他们居住在这些地区内。在此，他们作为中国的盟邦，发挥了某种与4世纪时罗马帝国郊区许多日耳曼部落相类似的作用。鄂尔多斯草原上的这些匈奴盟邦的首领与魏朝（220-265年）和西晋王朝（265－316年）的皇帝之间的关系很像公元4世纪的哥特人、法兰克人和勃艮第人的酋长与君士坦丁或狄奥多西家族的罗马皇帝们之间的关系。在两方面，常去帝国都城——长安或洛阳，米兰或君士坦丁堡——的蛮族首领们都被承认是这些衰败朝廷的亲密朋友，他们从其所见中受益后回到自己的部落中去。

当时，作为盟邦的南匈奴——为皇帝效劳的部队——进一步向南推进，在长城内定居下来。呼厨泉单于（195－216年在位）在山西腹地平阳居住下来。是时正值汉朝崩溃前夕，内战迭起。呼厨泉及时地想起他的一位远祖曾是汉朝公主，采用大汉帝国的父姓：刘氏。于是，当皇室的正统性由于一系列篡政在中国被取消时，而在匈奴庭帐中却得到了恢复。304年，一位采用汉朝姓氏、名叫刘渊的匈奴首领，盘踞在山西太原，他从中国晋朝获得了五部落单于的称号。308年，他率领5万匈奴军，借口是汉朝的合法继承人在太原称帝。这位匈奴统治者建立的王朝确实被称为“北汉”，即在北部的汉朝，或者是早期赵朝，即前赵。

刘渊之子、继承人刘聪（310-318年在位）是中国的阿提拉。311年，其部队占领中国都城洛阳，火烧帝国宫廷，俘获晋怀帝，然后向长安逼近，在长安屠杀了一半居民（312年）。被俘的晋怀帝被送往刘聪驻地平阳，强迫他作为刘聪的斟酒侍者，直到313年被杀。在匈奴返回平阳后，中国的新皇帝晋愍帝（312-316年）在长安建立朝廷，但是，匈奴于316年卷土重来，又包围了长安城，迫使软弱的统治者投降。这位登上皇帝宝座的匈奴王又一次地在平阳接见了被俘虏的晋朝皇帝，迫使他在宴会上洗刷碗碟，最后，于318年把他处死。晋朝丧失了使中国北部免受蛮族入侵的全部希望，一位皇族成员逃到南京（当时名建康），以长江为屏障，在南京建立了第二个晋朝，称为“南晋”或“东晋”（317年）。同样情况，公元5世纪的最后一批罗马人把他们的西部各省让给日耳曼入侵者，逃到帝国东部。在近3个世纪中（317－589年），正像君士坦丁堡后来取代罗马一样，南京取代了长安和洛阳的位置。

中国北部的胜利者匈奴人刘聪一度成了一位赫然耸现的人物。他作为古都长安和洛阳的主人（朝廷设在山西平阳），对山西中部和南部、陕西（除汉水流域）、河南北部（除开封）、河北南部和山东北部地区进行统治。这一匈奴王国的首领刘聪尽管过着蛮族的生活方式，但仍然保留了中国文化的某些外表（他是在中国宫廷中长大的）。但是，具有纯蛮族特征的其他游牧部落涌向这一匈奴王国的北部。可能属突厥种的拓跋部，大约于260年在长城以北的山西北端扎营。其后数年间，拓跋人移到长城以南，进入了山西北部的原中国在雁门（朔平）地区的驻军地和代郡（在右玉附近），即在大同地区，310年，他们已在这些地区内牢固地定居下来。最后，蒙古种鲜卑族的慕容部在今满洲西南的辽东和辽西之地建立了一个新王国。