公元前1世纪末，罗马奴隶制共和国被帝国所代替后，遂将其北部直接为邻的日耳曼部落作为征服对象。西元前9年，罗马人自莱茵河拓展其疆域东至易北河，凯撒(102～44BC)时代，日耳曼人已在莱茵河以西定居下来，向南则已达到多瑙河一带了。他们与罗马人之间最早的一次大规模战斗发生在西元前2世纪之末，当时辛布里人（Cimbri)与条顿人联合入侵高卢南部和意大利北部，但在前102及前101两年中，全部为马略(Gaius Marius,157～86?BC)所歼灭。罗马帝国的征服目标是，占领直到易北河的广大日耳曼部落居住区，将其划入帝国版图，组成罗马行省——大日耳曼尼亚。罗马帝国集中力量把莱茵河区建成军事基地。公元前12年，罗马帝国在莱茵一线集中36个军团，总兵力达3万人，并在这一年开始了对日耳曼部落的征服战争。
战争初期，罗马军队遇到了日耳曼各部落的顽强抵抗，损失惨重。公元8年，一支深入日耳曼腹地的罗马军队受到了日耳曼诸部落的沉重打击。罗马人“艰难地去征服前进道路上的对手，而每一次胜利，他们都得付出血的代价。”然而日耳曼各部落的抵抗都是各自为战，没有联合行动。这使罗马人可以集中优势兵力依次进攻各部落。经过10余年的战争，日耳曼部落大部分被征服。由于无力派出足够的军队去占领整个日耳曼人居住区，并对其实行有效的统治，罗马帝国只得迫使被征服的日耳曼部落向帝国称臣纳贡，建立强制性的条约依附关系。
经过多年的斗争，日耳曼人逐渐意识到，要战胜装备精良、经验丰富的罗马军队，必须改变各个部落各自为战的涣散状态。于是部落联盟开始出现了。
公元9年秋，日耳曼各部落的战士，在条顿堡森林同3万罗马军队遭遇，日耳曼人取得了重大胜利，罗马3个军团几乎被全歼。这次胜利后许多日耳曼部落重新获得独立。这就决定了罗马帝国的势力范围的边界不是在易北河，而是仍然在莱茵河流域一线。
公元11年，罗马帝国再次越过莱茵河，对日耳曼人发动新的征服战争，并取得了局部的胜利。公元17年，罗马军队占领施特拉斯堡、温迪施和美因茨。但罗马人已无力继续深入日耳曼人腹地。在公元1世纪中期的几十年里，罗马帝国逐渐把边界推进到莱茵河东岸，从而加固了罗马莱茵河——多瑙河边界体系。公元1世纪下半期后，罗马人开始在莱茵河东岸地区建立界墙。这意味着罗马帝国最终结束了征服战争。
公元1世纪初，罗马帝国正式把莱茵河与多瑙河上游划入帝国版图，建立了两个行省：上日耳曼行省和下日耳曼行省。前者首府是美因茨，后者是科隆。两省总督由当地罗马驻军的副将担任。
2世纪在日耳曼地区发生了两个重要的变化：首先过去分裂的日耳曼部落联合为大部落，其次日耳曼人越来越多地对罗马边界进行袭击。这些日耳曼民族大迁徙的原因今天还无法断证，可能的一个原因是随着日耳曼部落经济文化的发展、氏族公社制度的解体，部落上层渴望向外扩张掠夺新的土地和财富，部落下层民众也因人口的增长不得不向外迁徙，寻求新的能够谋生的土地。罗马帝国正日益衰弱，无力抵御外敌的入侵。或者有可能是饥荒造成的。总之从公元4世纪起，散居罗马帝国境外的，以日耳曼人为主的诸部落开始大规模向罗马帝国境内迁徙。
公元376年，日耳曼民族的西哥特人部落受匈奴人袭击，他们在获得罗马皇帝同意后，渡过多瑙河进入巴尔干半岛的色雷斯。第二年，西哥特人不堪罗马人的压迫又起义反抗。395年罗马帝国分裂，西哥特人又与当地奴隶、隶农一起打击西罗马帝国。418年，在高卢西南部建立西哥特王国。继西哥特人涌入罗马帝国的日耳曼部落还有：勃艮第人、法兰克人、东哥特人、盎格鲁人和撒克逊人等。日耳曼民族大迁徙约持续了2个世纪，他们与当地的奴隶、隶农起义一起，摧垮了罗马帝国，在罗马领土上建立了许多日耳曼人王国，其中，法兰克王国逐渐成为日耳曼诸王国中力量最强的国家。
罗马帝国在莱茵河下游的边疆地区，面临著法兰克人的威胁。美因河流域在260年前后为勃艮地人所占，而位于黑森林地区的阿格里�6�1戴可美特（Agri Decumates)则为阿勒曼尼人(Alemanni) 所据有。那些勃艮地人显然是从德国东部区域迁来的。法兰克人和阿勒曼尼人也许是两个民族联盟，他们在塔西图斯时代，曾各据一方，尽管有些可能来自东部的移民杂居在他们中间。塔西图斯所谈到的那些生活于波罗的海沿岸的各民族在二世纪的后半期内曾向东南方迁移。因之，哥特人在此时期控制了乌克兰和今罗马尼亚的大部分地区；格庇德人占有特兰西瓦尼亚(Transylvania)以北的山地；汪达尔人则成为他们西部的邻居了。
到500年之际，盎格鲁人和撒克逊人已进入英格兰，法兰克人则拥有高卢的北部。勃艮地人占居隆河流域一带，西哥特人生活在他们的西边。东哥特人定居于意大利而汪达尔人到达了非洲。507年，法兰克人把西哥德人从其所占高卢地区的大部地方驱逐出去。西哥特人在高卢的领土当时已由庇里牛斯山一带扩展到罗亚尔河流域，他们被法兰克人逐出以后，便进入西班牙，直到711年才被穆斯林全部消灭。568年伦巴底人进入意大利，建立独立王国，到774年，这个王国被查理曼（Charlemagne,742～814)灭掉。德国东部一些地区自从哥特人和一些别的民族离开之后，便被斯拉夫人占领，斯拉夫人还向西扩张，远达波希米亚和易北河流域。8世纪以后，日耳曼人收复了德国东部地区、下奥地利地区和施蒂里亚（Styria)、卡林西亚(Carinthia)的大部分土地，把斯拉夫人从这些地方统统赶了出去。
在塔西图斯时代，各主要的日耳曼民族分布情况如下︰卡蒂人(Chatti)居住在黑森（Hesse)地区。弗里斯人（Frisii)分布于莱茵河与埃姆河之间的沿海地带。卡乌基人（Chauci)生活于威悉河的河口附近地区，而聚集于其南面的则是阿米尼乌斯的所属部族切鲁西人（Cherusci)。斯维比人的名字曾是士瓦本（Schwaben)这一地名的来源，而这个民族集团则分散在梅克伦堡（Mecklenburg)、布兰登堡（Brandenburg)、萨克森(Saxony)和图林根（Thuringia)各地；居住哈弗尔（Havel)河及施普雷（Spree)河流域的塞姆侬人（Semnone)属于斯维比民族集团，生活在塞姆侬人地区西北的伦巴底人也是一个斯维比民族。另有7个民族信奉大地女神内尔瑟丝（Nerthus)，其中盎格鲁人集中居住在什列斯威（Schleswig)东部的昂格尔恩（Angeln)半岛。在罗马帝国的多瑙河边界地带，赫门杜里人（Hermunduri)自雷根斯堡(Regensburg)附近地区向北开拓，经法兰克尼亚（Franconia)而达图林根。原先居住在美因河流域的马科曼尼人（Marcomanni)在西元前一世纪的最后10年间迁往波希米亚，而那里却一直是由一个名为博伊人（Boii)的塞尔特民族占居著的地方。马科曼尼人的东邻是住在摩拉维亚(Moravia)的夸迪人（Quadi)。在多瑙河下游有一个民族称作巴斯塔奈人(Bastarnae)，人们常把他们看作就是日耳曼人。哥德人、格庇德人及汪达尔人都散处波罗的海南岸地区。塔西图斯还谈到了居住在现今瑞典境内的苏伊昂人（Suione)和锡唐人（Sitone)。他也提到几个在历史上无足轻重的民族，但他却对撒克逊人和勃艮地人只字未提，至于其他一些突起于那个时代之后的重要民族，他当然就无法预知其名了。