金山大捷后，薛仁贵率领三千人将要进攻高丽的另外一个重镇扶余城（确址众说纷纭，一说在今辽宁省开原市、一说在今辽宁省四平市、一说在今吉林省农安县、一说在今辽宁省昌图县西北、一说在今辽宁省岫岩县一带），众将觉得他带的兵太少了，纷纷劝阻，但薛仁贵却说：“兵不在多，关键是看如何运用。”遂作为各军的先锋冲到前面。唐军与高丽军队又展开了一场血战，斩杀高丽一万余人，并顺利攻克扶余城，扶余川中四十余座城池纷纷投降。唐军攻克扶余城之后，渊盖男建率领五万高丽军队前来反扑，与唐军在薛贺水（疑为在辽宁省凤城市附近）合战。唐军再次大破高丽军队，斩杀俘虏三万余人，并乘胜进攻大行城（疑在今辽宁省凤城市附近），一举将其攻克。
唐军各路军在总章元年夏秋之间已基本上清除了高丽在辽东的各个据点，饮马鸭绿江边。渊盖男建发兵抵挡，李勣等率领唐军英勇奋战，又一次大破高丽军队，顺利突破高丽在鸭绿江上防线，穷追猛打二百余里，又攻克了辱夷城（今朝鲜平壤市西北），兵临平壤。兵败如山倒，沿途众多高丽城池的守将纷纷弃城遁逃，投降唐军的军民络绎不绝。契苾何力所部最先抵达平壤城下，唐军其他各部随后赶到，把平壤围了个水泄不通。
唐军包围平壤一个多月，高丽国王高藏派渊盖男产率领九十八名大臣手举白旗，出城投降，李勣以礼款待了他们。渊盖男建依然闭门固守，屡屡出城与唐军交战，但均被击败。渊盖男建信任一名叫信诚的和尚，将军中事务都交给他处理，信诚见以无力回天，暗中派人出城来到李勣军中，愿意充当内应。果然，五日后（即九月十二日），信诚偷偷打开了平壤城门，唐军冲入城内，登上城墙，呐喊鼓噪，焚烧城墙四角的碉堡，渊盖男建想拔剑自杀，又被人救活，遂被唐军活捉。
高丽遂告灭亡。
唐朝从贞观十八年唐太宗东征高丽至今，前后经历二十五年之久，如果再从大业八年（公元612年）隋炀帝第一次东征高丽算起，中原王朝经过半个多世纪的连续作战，并承受了一个王朝灭亡的代价，才终于将高丽灭掉，代价不可谓不大，也确实是一场艰苦卓绝的战争。
唐军经过一年多的苦战终于消灭了高丽，完成了父皇未竟的事业，这当然令唐高宗非常高兴。据《古今合璧事类备要》记载，在等待李勣凯旋时，唐高宗经常登上后花园的高楼向北眺望，还将这座高楼取名为“望英楼”。（应暗含两层意思：一是英雄；二是李勣的爵位为英国公）
当唐军快到长安时，唐高宗命人先把高藏等俘虏拉到昭陵陵前，向亡父献俘，告慰父皇的亡灵，而后举行盛大的凯旋仪式，高奏凯歌，进入长安城，又在太庙进行献俘。十二月七日，唐高宗又在含元殿上接受了一次献俘，他下诏赦免了高藏等俘虏，任命高藏为司平太常伯、员外同正（待遇类似于部长）、渊盖男产为司宰少卿（宫廷膳食部副手）、信诚为银青光绿大夫、渊盖男生为右卫大将军；将渊盖男建流放到黔州、扶余丰流放到岭南。将高丽国中五部、一百七十六城、六十九万户分为九个都督府、四十二个州、一百个县，在平壤设置安东都护府进行管理，以右威卫大将军薛仁贵为检校安东都护，率领两万军队镇守在那里，提拔高丽有功人员担任都督、刺史、县令等职，与汉人一起管理。
十二月十七日，唐高宗在长安南郊祭祀天神，将上天报告消灭高丽的捷报，让李勣进行第二轮献祭。十九日，又到太庙进行禀报。
灭亡高丽的第二年，即总章二年，公元669年，唐高宗加李勣为太子太师，增封食邑至1100户。当年年底，李勣就身染重病，卧床不起，唐高宗和皇太子赏赐的医药，李勣不得不服用，至于家人要给他请医生看病，他一概不许，说道：“我原本是关东的一介农夫，遭遇圣明，位列三公，年将八十，岂非命也？人的寿命长短自有定数，岂能向医生求活！”李勣的达观态度似曾相识，想当年，刘邦病重期间也曾慷慨地说道：“吾以布衣提三尺剑取天下,此非天命乎?名乃在天,虽扁鹊何益?”一天，李勣突然对弟弟司卫少卿李弼说道：“我今天好些了，可以置酒为乐。”于是，子孙们都聚集到一起，酒喝得差不多后，他对李弼说道：“我自忖是好不了了，所以才特意与你们告个别，你们大家不要哭泣，听我吩咐：我见房玄龄和杜如晦二人，一生勤勉，辛苦备尝，却仅仅能支撑门户不倒，遇到不肖子孙，家业荡尽，我的这些子孙全都交付给你。安葬我以后，你就迁居在我家，照看我的子孙，如果子孙们出现志向不纯、交结一些狐朋狗友的，一律先用棍子打死，而后再上奏皇上。又见别人随葬埋了很多金玉，这也是不必要的。有孩子的姬妾愿意留下的就留下，其余的全部放出。”说完，再也一言不发了。十二月三日，李勣病逝，终年七十六岁。
听到李勣去世的消息，唐高宗非常悲痛，他下诏停止办公七天，进行哀悼，追赠李勣为太尉、扬州大都督，谥号为贞武，陪葬昭陵。下葬之日，唐高宗登上高楼眺望丧车悲泣，皇太子李弘随车送葬，一路恸哭；按照西汉名将卫青、霍去病的旧例，给李勣所修筑的坟墓形状像阴山、铁山、武德鞬山那样，以表彰李勣生前消灭突厥、薛延陀之功。李勣死后，因其长子李震早死，其嫡孙李敬业继承。
李勣知人善任，多谋善断，从善如流，作战所得赏赐、战利品全都散给部下，因此，人人愿意出死力，他所率领的军队往往所向无敌。李勣在临阵选将时，总是挑选那些容貌丰润之人，有人询问缘由，李勣回答：“薄命之人不容易成功名。”李勣虽然贵为仆射，但姐姐生病，他必定亲自给姐姐熬粥，一次，做饭时火竟然把他的胡须烧着了。事后，姐姐说：“奴仆那么多，何必把自己弄得这么辛苦！”李勣却回答：“岂是因为没人手！只是想到姐姐年龄大了，我也年老了，就算我想一直给姐姐熬粥，又岂能做到！”一次，有位同乡来探望李勣，李勣招待他吃饭，席间，此人吃饼时却把饼的边缘撕下扔在一旁，李勣见状，责备道：“要做成这饼子，需要犁两遍土地，洒下种子，收割，扬场，磨面，然后才能做成。你把饼边扔掉，这是什么道理？在我这里尚可，要是在皇帝面前，你做出这事，看皇帝不砍下你的脑袋！”
《朝野佥载》称，李勣下葬之初，占卜得到的卦辞是：“朱雀和鸣，子孙盛荣。”张景荣听后，私下说：“术士说的不对，这其实是‘朱雀悲哀，棺中见灰。’”此后，李勣的孙子徐敬业（即李敬业）起兵，造武则天的反，武则天大怒，下令挖开李勣的坟墓，焚烧了尸体。