当捷报传到曹军西征归师中，曹操开心的跳了起来，这是张辽给他的惊喜，他决定继曹仁、夏侯渊后，再立一个方面之帅。
曹操下令：张辽募敢死士，以寡凌众，以强践弱，前指渠帅，立夺三军之气，贲育不过其勇也，拜为征东将军，统领诸军守合肥，并将其原先荡寇将军之职，转拜平狄将军张郃；又增封李典百户，并前共三百户；并升乐进为右将军。
比起曹仁、夏侯渊的宗室身份，张辽不过一个降将，依照曹魏惯例，本不适合担任方面统帅；但既然这次张辽创造了战争史上的奇迹，曹操觉得也该破例。不拘一格用人才，这才是曹操真正的惯例。
建安二十一年（公元216年）二月，曹操回到邺城，从此将工作重心转向政治。
五月，曹操以平定汉中之功，进爵为魏王，仪同天子，进一步巩固了自己的权力。
八月，曹操任命钟繇为魏国相国。
然而，曹操只休整了一年，便又决定再次亲征。建安二十二年（公元217年）正月，六十三岁高龄的曹操率大军南征抵达居巢县，孙权则率军于濡须口（今安徽省无为县城北，为巢湖出水至长江的港口，孙吴夹水口立偃月形船坞，当江淮间交通要道）驻防抵挡。
这次曹操南征，还特意路过合肥参观了张辽大战孙权处，叹息者良久：要是张辽去年就把孙权给干了，今年说不定孤已经完成统一大业了！张辽这个人脾气很暴，也不太会处理同事关系，但打起仗来还真是一把好手！于是又给张辽增加了兵马，让他徙屯居巢，与诸军会和。
跟在曹操身边叹息的还有刚满三十岁的曹丕。此次南征，曹丕也跟去了，而且还带上了自己一对子女（即日后的汉明帝与东乡公主）去见见世面。
事实上，当年张辽威震逍遥津的传奇，也深深的印在了曹丕的心里，而几乎让曹丕成为了张辽的粉丝。日后曹丕即王位，便将张辽提为前将军，进爵都乡侯，位仅在三名宗室（大将军夏侯惇、车骑将军曹仁、卫将军曹洪）之后，并赐其帛千匹、谷万斛，又赐其母舆车，派遣兵马送张妈妈到张辽军屯之处，真是光宗耀祖。曹丕即帝位后，又封张辽为晋阳侯，增邑千户，并前共二千六百户。
黄初二年（公元221年），张辽回朝述职，魏文帝曹丕又当着满朝文武的面，亲问其昔日破吴时的威猛。张辽述说过后，曹丕不由向左右叹息道：“此亦古之召虎也。”（召虎即召公，东周名将，周宣王时曾领兵出征，平定淮夷。）下令为其建造府第，又特为其母筑殿，当年跟从张辽破吴的那帮敢死老兵，则都被召回都城，任为虎贲，也就是所谓“大内侍卫”。
黄初三年（公元222年），张辽回到驻地，不幸染病。曹丕听说，大为焦急，忙遣侍中刘晔带一帮太医去给他会诊，传递张辽病情的虎贲卫士，道路上往来飞马不绝。驿站为之爆满。
张辽毕竟五十多岁了，多年征战，创疾无数，这次旧病复发竟久久无法痊愈，曹丕着急上火，赶紧又派人将张辽接到行宫来养病，并乘车驾亲自前来看望，赐以御衣，又令御厨每日送给御膳。过了没多久，孙权复叛，张辽病也好了些，曹丕便只得再请张辽乘舟，与曹休同到海陵（今江苏省泰州市，属徐州广陵郡）临江驻防。孙权英雄一世，却只害怕张辽一人，遂敕令诸将：“张辽虽病，不可当也，慎之！”同年，张辽与诸将共破吴国前将军吕范。不久张辽病笃，竟逝于江都，时年54岁。一代名将就此陨落。魏文帝曹丕为之痛哭流涕。
黄初六年（公元225年），曹丕追念张辽、李典合肥之功，诏曰：“合肥之役，辽、典以步卒八百，破贼十万，自古用兵，未之有也。使贼至今夺气，可谓国之爪牙矣。其分辽、典邑各百户，赐一子爵关内侯。”
咱们回过头来说这次曹操征吴，那可是憋着一股劲儿来的，为振奋士气，他还亲执金鼓，在战前搞了次大阅兵。这次曹军可真是精锐全出，除夏侯渊的汉中部队在跟刘备部队对峙抽不开身外，其他如征南将军曹仁的荆州军、伏波将军夏侯惇的中原军，还有臧霸、孙观的青徐军，加上张辽、李典的合肥军，以及曹操的中央军……总共二十余军，全部来到居巢备战，看来曹操志在必得，誓要拿下孙权，孤立刘备，争取在此生完成统一大业！
建安二十二年（公元217年）春二月，战争正式打响，曹军先锋张辽、臧霸、孙观率部南进至长江西岸的郝溪（今无为县裕溪河）。然而很可惜，这次好运气又站在了孙权这边，适逢早春，春雨滂沱，导致江水暴涨，吴军船只趁机将江面封锁、控制了整条水道，吴将吕蒙又在濡须口上设置强弩万张，往岸上不断发射，使得曹军无法顺利安营。张辽等三将奋起反攻，无奈吴兵箭雨太密，青州刺史孙观不幸左足中箭，犹力战不顾，张辽怕他有什么闪失，只得命令鸣金收兵。
孙观因为流血过多，伤的很重，加上大雨不止、士兵叫苦连天，张辽就与臧霸商量暂且退兵，等大军到达后再向前，臧霸不同意，说：“主公深明利弊，宁肯牺牲吾等邪？”于是坚守不动。果然，第二天, 曹操便率大军赶到，压制住了吴军的进攻。
战后，曹操问明张辽情况，深感欣慰，遂拜臧霸为扬威将军，并亲自前往慰劳孙观，道：“将军披创深重，而猛气益奋，不当为国爱身乎？”又拜孙观为振威将军。
可惜孙观伤的太重了，不久竟伤重而死。臧霸则一直活到了魏明帝时期，官至执金吾，镇东将军，进封良成侯。
曹操这边死了一员大将，孙权那边也死了一位，偏将军董袭在增援濡须口途中夜遇暴风，船覆而死。
不久，孙权手下亲蜀的重臣、横江将军鲁肃又去世，鹰派人物虎威将军吕蒙上位。吕蒙一向垂涎于关羽的荆州，而关羽也不是个省油的灯，处处与东吴为难，吴蜀联盟遂出现重大裂痕。
于是，在这样一片哀伤的气氛中，孙权派都尉徐详去曹操处乞降。曹操见大雨好像没有停息的迹象，又因军中再次爆发瘟疫，身边好友亦死了几个（建安七子中有五人死于此次瘟疫），心中郁闷，便暂且接受孙权的求和。
三月，曹操率中央军返回邺城，至于夏侯惇、曹仁、张辽、臧霸等二十六军，则全部屯守居巢，自上游威胁东吴首都建业，以牵制孙权重兵于濡须口。这样曹操就不用担心东南，可以放心处理内务，同时也可抽出点安闲时光来，从容做些安排。
六月，曹操将许都的尚书令华歆召至邺城，拜为魏国御史大夫；而转派丞相长史王必去往许都掌管军队，督理汉廷事务。十月又立曹丕为魏太子。
显然，曹操开始准备后事了。