“首战即决战”这一招由于可以用最快的速度判定输赢而成了常遇春最喜欢的战法，当初他在出征张士诚的前夕向朱元璋提出直捣平江的建议就是贯彻了这种战略思想，尽管碰了一鼻子灰，却然而没有吸取教训。时间转眼就到了1367年，朱元璋在召集诸将商议北伐中原的战略时，常遇春又一次快人快语地建议说：“以我百战之师，长驱直入捣向元大都，必如破竹之势。”

朱元璋虽然对常遇春这种逞强斗狠、不计后果的老毛病已经见惯不怪，但还是批评道：“元朝建国百年，守备必然坚固，我孤军深入大都，存在粮饷不继的隐患，再加上敌人的援军四集，后果会十分危险。”

朱元璋接着说道，“我的计划是先取山东，撤去大都的屏蔽，再移兵河南，破其籓篱，拔取潼关而守之，扼其门槛。当天下形胜之地被我掌握，然后才进兵，元大都就会势孤而援绝，不战自败。我军乘胜鼓行而西，山西、关陇等地可席卷而下。”

诸将纷纷表态支持朱元璋的计划，常遇春又一次成了少数派。

鉴于常遇春的老毛病一犯再犯，朱元璋在组织北伐大军时仍让他做大将军徐达的副手，也就是副将军，并当面语重心长地提醒道：“对抗百万敌人，冲锋陷阵，谁也比不上你这个副将军。我忧虑的不是你不能战斗，而是你过于轻敌浪战。你身为大将，却经常不顾身份地与军中的小校进行角力比赛，这一点真的让我失望。”

在朱元璋的眼中，部队的高级军官与中下级军官不同，高级军官的任务是在后面指挥，而不是在前面与敌厮杀。可惜常遇春的官虽然越做越大，但思想却停留在过去，始终保持着亲自操刀上阵的习惯。因而就此而言，朱元璋认为徐达做得更好。他在北伐军出发之前公开对诸将说道：“任命将领出征，需要恰当的人选。如今诸将并非不骁勇善战，但是平日里为人能够做到老成持重、并且治军严明、熟悉兵法的，谁也比不上大将军徐达。徐大将军应该驻守中军主持大局，制订作战的策略并指挥诸将的军事行动，决不可轻易出阵与敌人搏斗。”

从这些言论可以清楚看出，在徐达与常遇春之间，更加令朱元璋称心如意的是自始至终都是徐达。

轰轰烈烈的北伐开始了。常遇春跟着徐达一路向北奔驰，沿途异乎寻常地顺利夺取了山东诸郡，转而进入河南，占领汴梁，在其后的攻取洛阳之战中，常遇春的所作所为再次成为众目睽睽的焦点。

当时，五万元兵列阵于洛水之北，常遇春忘记了朱元璋的谆谆教导，他不在后面指挥，而是忍不住手痒冲上前去厮杀，一马当先地单骑杀向敌阵。元军二十余名骑士举枪阻挡。常遇春不愧为神箭手，在千钧一发之际闪避过敌人的刺杀，并灵活地抽出手来射出一箭，毙其前锋，接着大呼跃马在敌人中间纵横驰骋，其麾下壮士一窝蜂地跟在后面，横冲直撞地将敌人打得落花流水。失去斗志的元军一触即溃，徐达挥师追击五十余里，斩获无数。镇守河南的元朝梁王阿鲁温投降北伐军，河南全境依次平定。

这时，朱元璋已在南京称帝，并亲自来到汴梁与前线诸将会面，他了解常遇春又犯了匹夫之勇的毛病，却再也懒得劝说，由他率性而为。

此后，北伐军一路凯歌，主力回师山东，连下河北诸郡，并疏通运河，打下德州，水陆舟师沿河而进，攻克通州，成功地夺取了元朝首都大都。

大都（后来改名为北平）既下，河北保定、河间、真定等地相继平定，山西成了北伐军下一个目标。

常遇春作为明军最剽悍的将领，不可避免地要与元朝首席战将王保保过招。两名高手于1368年十一月对峙于太原城下。战前，常遇春夜劫敌营的提议被徐达采纳，恰巧这时王保保的部将豁鼻马暗中来约降，自愿做内应，并如约在明军夜袭时举义反正。那天晚上，王保保正在挑灯读书，突然间杀声四起，他匆忙之间赤脚冲出帐外，军营内外已是一片刀光剑影，便立即夺过一匹孱马向大同方向狂奔，常遇春尾随其后追至忻州，不及而还。

常遇春在与王保保唯一的一次较量中以戏剧性的胜利而告终。

可是，常遇春在往后的日子未能继续与卷土重来的王保保交手，因为他突然离开了人世。

常遇春死于1369年，此前他乘太原胜利的余威北取大同，转战河东，进入陕西、打下奉元路，与另一位明军将领冯胜合师后，向西攻克凤翔。这此期间，河北形势有变，流窜于长城之外的部分残元军队在元将也速带领下进入塞内，骚扰通州，严重威胁到北平的安全。“闻鼙鼓而思良将”的朱元璋急召常遇春从陕西前线回师北平备战。

常遇春离开在陕西奋战的徐达，奔赴新的战场，他在副手李文忠的协助之下，以步骑九万余人的兵力，从北平出发，直捣设在上都的北元小朝廷。

元朝立国之初就按照游牧习俗拥有两个首都，一个是大都，一个是上都。大都失陷之后，末代皇帝元顺帝便迁往上都苟延残喘。如今常遇春统兵在外，拥有了独立的决策能力，他直截了当地采用自己最为熟悉“首战即决战”的战法，集中全力直捣敌人的心脏，企图与北元军队在上都决战，以此为契机一次性解决塞外残元军队的问题。

这支军队浩浩荡荡地出塞，像尖刀一般直插向目标。一路经过会州，在锦州激战并俘获守将江文清数以千计的兵马，紧接下来又在全宁击败敌将也速，占领大兴州，以风驰电掣之势拔取上都。

可惜，常遇春与北元军队在上都决战的计划落了空，因为上都早已成为空城，元顺帝在此之前弃城北逃。

常遇春在上都扑了一个空，他并不甘心而向北追击数百里，俘获北元宗王庆生及平章鼎住等将士万余人，车万辆，马三千匹，牛五万头以及一大批后勤辎重。至此，就是常遇春成了明军中第一个同时攻克元朝两个首都（大都与上都）的将领，而且也是历史上独一无二的一个。

令人始料不及的是，常遇春创造了军事奇迹之后却突然撒手人寰，他统率部队回师于七月暂驻柳河川时，得了暴病而亡，年仅四十岁。他虽然顺利拿下上都，但未能彻底解决掉塞外残元的军队，解决这些在长城内外兴风作浪的残兵败将要靠后继者的努力。

噩耗传来，朱元璋大为悲痛，并亲自祭奠常遇春，追封其为开平王，谥号“忠武”。后来，明朝将常遇春奉祀于功臣庙与太庙肖像功臣庙，他的位置在诸位功臣之中仅次于徐达，排列于第二。