小段皇后死后，慕容农因遭慕容宝、慕容麟的嫉恨，也从此失势。他虽名为并州总督、晋阳守将，前往赴任时，慕容宝交给他的，只是数万老弱残兵，并且还不为他提供粮食。虽然如此，慕容农为证明自己的才能，并未沮丧，他一到任上，就派人监管农田，加重赋税，以增加钱财收入；又派出多名部下，分别管理境内的汉、氐、匈奴等其他民族的百姓，想从中挑选少壮之士充军，以增强并州地区的镇守力量。所谓：欲速则不达，慕容农的这些举措本是好事，可惜并州之地作为魏、燕两国争夺的焦点，一直以来战争不断，百姓们原本就过得十分艰苦，再经慕容农这番严格管治，更加不堪重负。七月，并州突降寒霜，把百姓们辛苦种植的庄稼毁掉了许多，各族百姓纷纷向地方官吏哀求，说今年气候异常，收成大减，希望他们能劝说慕容农减少征收赋税。慕容农两眼一瞪，发怒道：“魏军随时可能发兵前来攻打并州，没有赋税，用何物来征兵；没有军队，又用何物来抵御魏军？”于是严令各部官吏：今年上缴的赋税不但不能减少，还必须比往年多征收三成。

汉人、胡人见了这道命令，皆对慕容农深感怨愤。于是，并州百姓纷纷北逃魏国，并将并州缺兵、缺粮之事告知了拓跋珪。一个月后，公元396年八月，魏王拓跋珪在盛乐城誓师三军，宣布对燕国全面宣战，并以并州作为第一个进攻目标。在其亲自动员下，自打慕容垂死后，军心已重新恢复稳定的北魏迅速聚齐了二十万大军，对外号称四十万，开赴向晋阳以北的马邑。

慕容农见魏军来势汹汹，与自己的部下，军司马慕舆嵩商议对策。慕舆嵩道：“今敌强我弱，兵力相差十倍，将军只宜坚守，不得出战。当务之急，将军须连夜致书于陛下，请他调拨援军前来相助。”慕容农本有心听从，转念一想，却对慕舆嵩道：“慕容宝嫉恨我多时，若果真求他派兵前来相助，只怕也等不来援军；不如激励士兵，出城大战一场，万一侥幸得胜，他日也可凭此战功在朝中立足。”于是弃慕舆嵩的提议不从，颁下令去：“留一万士兵，与慕舆嵩一起守城；其他将士，随我出战。”九月十八日，魏、燕两国士兵分别由拓跋珪、慕容农率领，在晋阳城外摆下战场，一阵交锋下来，魏军毕竟是人多势众，又粮草无缺，轻易将慕容农的数万燕军打得大败。慕容农率败兵退至城下，大喊：“开城门！”城楼上，慕舆嵩应声出面，回道：“你与当今陛下是亲兄弟，尚且不能相容，燕国国运由是可知。我等已决定降魏矣！”慕容农又气又急，只得带着妻子儿女以及数千燕军，绕过晋阳，向太行山以东逃窜。拓跋珪部下长孙肥一路紧追着不放，及至到潞川，长孙肥、慕容农狭路相逢，又爆发交战，慕容农一败涂地，妻子儿女以及数千随行士兵皆被魏军俘虏，其仅仅带着三名骑兵脱险，逃回了中山。

拓跋珪遂入驻晋阳，并州各地守将见慕容农已走，争相前来祝贺，并建议魏军趁着一举拿下并州的大好势头，继续向冀州发起进攻。拓跋珪分析道：“此事不忙，想我大魏自从建国以来，风俗、官制都沿袭了塞外的胡族，朝廷无办事机构，地方无刺史、太守，居无定所，迁徙不定。如今来到中原，若是依然如此，只怕百姓们会把我们当作番邦夷人，即便暂时称臣，又岂能甘心归顺？”于是他悬赏全国，征召饱读诗书、满腹经纶的读书人，想听取他们的治国方略。各地郁郁不得志的儒生见拓跋珪颁布《求贤令》，一时云集至并州，求见拓跋珪。拓跋珪除去戎装，以布衣之身前往相见，每一位前来的儒生，拓跋珪都亲自与其交谈，并示意他们尽管畅所欲言。但凡稍稍有一些才能和可用之处的人，拓跋珪便授予他们官职，或担任尚书郎，或担任地方刺史、太守。有人对此不解，问拓跋珪道：“大王以武建国，国中功勋最大的，是您的那些战将。如今您仿效晋国，在朝中设置尚书、九卿，在地方设置刺史、太守，却不用那些随您长期浴血奋战的武将担任，只怕难以服众。何况在属下们看来，这些被您刚刚任用的官员，他们的才能也不堪那么高的官位。”

拓跋珪笑道：“你等只知饮酒放牧，少读经史，自然看不透此中道理。一个国家，其职责并非征战，而是安民，所以开疆拓土须劳烦众位将军，治理国家却必须依赖读书人，此即所谓：上马能治军，下马方能治国是也。至于你们说的这些前来的儒生，他们的才能不能匹配他们的官位一事，本王自然也心中有数，难道你们没听说过‘千金买马骨’的故事么？有一国君，想买千里马，四处寻访不得。一日，他的大臣听说有一匹千里马，但是已经死了，那大臣犹豫之后，仍用千金将死马的骨头买下，交给国君。国君见状，怒斥大臣道：寡人要的是活着的千里马，你用千金买来一匹死马有何用处。那大臣解释道：国君息怒，臣买的虽是马骨，但您喜爱良马的名声将从此传遍天下，过不了多久，定会有人带着活着的千里马前来见您。果不其然，之后不出一年，有三人带着日行千里的良马主动求见该国国君。本王之所以任用这些名不符实的儒生担任重要官位，也是这个道理，本王相信：过不了多久，就会有大量真正的有识之士前来魏国效劳的。”