就这样，穷小子高欢扛着长矛，来到了平城，当了一名普通的戍卫，风里雨里，与城墙为伴。平城是魏国的旧都，虽远远不及新都洛阳繁华，但仍有许多留恋故土不愿南迁的达官贵人定居于此。众多达官贵人之中，有一富户，名叫娄内干，鲜卑人，祖上世代为官，家中牛马成群，粮食堆积如山，由于娄内干曾得到朝廷表彰，赐予他司徒的名誉官衔，所以当地人都称之为娄司徒。娄司徒有一爱女，名叫娄昭君，生得花容月貌，有倾国之色。平城一带的官宦子弟目睹过她芳容的，都认为她的美貌足以和另一位名叫“昭君”的大美女王昭君相媲美。加上她的家世着实显赫，说是平城首富都不为过，未等及娄昭君成年，前来提亲的人将她家的门槛都踏破了。汉人女子婚嫁，受封建礼教影响，讲究的是“父母之命，媒妁之言”，但娄昭君是鲜卑女子，为人又极有主见，根本不理会这一套。她对父亲娄司徒道：“我的丈夫，请由我自己挑选，那些前来提亲的凡夫俗子，请父亲为女儿统统拒之门外。”娄司徒有三个女儿，娄昭君年纪最小，自小视作掌上明珠，最是疼爱，也只好同意。
一日，娄昭君带着几名侍女在平城闲逛，高欢恰好手持长矛从她身边经过。娄昭君不经意间打量了一下高欢，发觉此人威风凛凛，气度不凡，更兼目有精光，齿白如玉（史料原话），失声惊叹道：“唯有此人，可作我的丈夫。”一回家中，就向父亲言明此事，说想嫁给高欢。娄司徒一打听，才知道高欢是个彻头彻尾的穷小子，不但没有房子没有马，平日吃了上顿没下顿，关键还是个汉人，而且是地位最卑贱的六镇汉人，肺都气炸了，说这个坚决不行。娄昭君是铁了心要嫁给高欢，毫不妥协，说只有这个行，不然我永远不嫁人了。于是打发侍女去向高欢表白心意，甚至把自己多年的积蓄都赠送给高欢，让他作为上门提亲的聘礼。娄司徒实在拿这个女儿没办法，只好勉强同意了，但是他同时声明：你要嫁给这穷小子可以，但是你父亲我拥有这么多的财产，想让我送给高欢那小子，我可做不到。你好日子不过，偏偏要随他去受苦，可别怪父亲我没好心提醒过你。
娄昭君一口答应，只提出了一个要求：“离家之前，父亲可以送我一匹好马吗？”
这个要求并不过分，娄司徒家中良马成群，少说也有几百匹。娄司徒好奇地问女儿道：“你一个女孩子，又不会骑马，要马有何用？”
“不是我要，是送给我的丈夫高欢。据女儿考察，他文采、武艺样样百里挑一，唯独缺一匹好马，有了马，他就能当将军了。”
原来是这样。娄司徒听了此言，略觉宽心，心想人不可貌相，高欢虽然暂时穷困，却胸怀大志，说不定有朝一日他真的会成就一番事业。于是他收起对高欢的成见，日后对高欢多有接济。高欢在娄司徒父女的资助下，返回了怀朔镇，成功当上了一名小军官：队主，统领一支大约百人的小分队，相当于百夫长。当上百夫长以后，高欢不忙着找机会立功，报答娄氏父女的恩情，却整日与其他军官称兄道弟，饮酒作乐，家中常年高朋满座，很快将娄昭君带来的大量嫁妆挥霍一空。娄昭君不怕过苦日子，就怕他的丈夫前半生穷苦潦倒，才稍稍享受过富贵，从此便贪图安逸，不思进取，于是责问高欢道：“难道这就是你的志向吗？”高欢笑道：“我这么做，自有缘故，不用多久你就会明白了。”
数年之后，六镇起义终于爆发，最开始领导者为鲜于修礼，高欢作为六镇人，也加入了鲜于修礼的起义部队。之后，鲜于修礼被内部叛徒杀害，各地的起义军逐渐分裂成两支，一支归葛荣统领，一支归杜洛周统领。高欢转而归属杜洛周麾下。杜洛周才能平庸，不得将士们信服，高欢之前结交的那些军官因见高欢仗义疏财，宛如信陵君在世，又文武全才，身负绝世才学，都倾心让高欢代替杜洛周领导他们，便与高欢密谋此事。高欢早有此意，遂决定联络一众军官发动政变，驱逐杜洛周，由自己取而代之。尚未来得及动手，此事却已被杜洛周察觉，杜洛周大怒，下令诛杀高欢等人。高欢得军官们急告此事，匆忙间仅带着几匹马，几头牛，与妻子娄昭君，儿子高澄（高欢长子），尉景、段荣（娄昭君姐夫）等少数几人踏上了逃亡之路。一路上，高欢、尉景等人骑着马走在前面，娄昭君怀抱高澄，与段荣等人骑着牛跟在后面，为了防止被追兵赶上，一行人卖力驱赶坐骑，几匹马，几头牛，都跑得飞快。娄昭君终究是富家小姐，手上无力，加上高澄尚自年幼，无法抓紧缰绳，逃亡途中，只听“啪”的一声，却是高澄从牛背上掉落在地，幸好牛走得比马慢一些，没有摔伤，娄昭君把他抱起接着逃亡，行不了几里路，“啪”的一声，却是高澄又从牛背上跌落下来了，娄昭君只得再跳下地面，将他重新抱上牛背。又行了几里路，当高澄不小心又一次掉到地上时，高欢实在忍不了了，他突然调转马头，弯弓搭箭，对准了自己的儿子。娄昭君花容失色，慌忙扑倒在高澄身上，惊叫道：“这是你的儿子啊！”高欢怒喝道：“让开，不然我连你一起杀掉！”尉景、段荣等人纷纷跪下求情，说夫人手上没力，不如将高澄交给他们抱着，保证不会再发生类似的事件，以致耽误了行程。高欢这才恨恨收起弓箭，骂道：“我的功业还没成功，岂能让此孺子耽误，倘若他再掉落地面一次，我的弓箭立即射出，绝不会有收回之理！”
娄昭君嫁与高欢数年，深知丈夫的为人，为了保住自己的命，杀儿子这种事，他还真干得出来。当下只得泪眼婆娑哀求姐夫段荣务必把孩子牢牢抱紧了，万一再出意外，可是要出人命的。一行人躲过杜洛周的追兵，逃入葛荣的军营。葛荣的部下一见高欢到了，纷纷前往拜见，与之兄弟相称。为何？—这里的军官和杜洛周的部下一样，也大多和高欢喝过酒。高欢在葛荣军中待了一段时间，相助葛荣兼并了杜洛周的势力，然后就带着妻子等人离开了此地，转投了尔朱荣。没办法，葛荣气量不够，不能容人，他见高欢深受六镇军官的欢迎，之前又有联络其他军官发动政变的前科，哪敢用他。当时偌大的河北，能够容得下高欢，并且重用高欢的，也只有绝代枭雄尔朱荣了。