二十五日凌晨，天色尚未分明，明军就乘胜对岛山堡垒发起强攻。蓟镇都司王问的车营使用马车拉载的轻型火炮，一顿猛轰就炸塌了山脚处的木栅栏。游击陈寅也是南军，岂能让茅国器独建大功，于是率所部两千人奋勇冲锋，迅速占领了第一处木栅。在向山腰处的第二道木栅冲击时，明军遭到日军火枪猛烈射击，身先士卒的陈寅也被击伤了右腿。但他重伤不下火线，瘸着腿继续攀登，将士无不感奋力战。此时茅国器也率部赶来，两军协力猛攻，一举攻破了第二道栅门。第三道栅门的日军乱作一团，行将崩溃。就连堡垒内的浅野父子也觉得兵败如山倒，仰天长叹不已。但恰在此时，明军大营却敲响了停战铜锣。
关于停战的命令，历来众说纷纭。《明史.李如梅传》说是杨镐起了私心，想让私交密切的李如梅捡便宜。杨镐和李如梅搭档打过辽东的蒙古军，有一次远袭失败，还是李如梅救了杨镐的命呢，两人绝对是患难之交。第二种说法，杨镐敲锣是为了让第二梯队的茅国器割敌首级，以便核报军功。这也有可能，中国古代军制一向是数脑袋换赏钱，这也是杨镐的工作职责。无论如何，明军当日的攻势到此为止了。
其实，若照这个架势打下去，杨镐的失误也是可以弥补的，反正第二天也能猛攻破城。但天意弄人，就在当天夜里，绝望的岛山堡垒却欢声雷动：加藤清正回来了！
原来，西生浦的加藤清正听闻岛山战况，立即招呼诸将商议。根据日本史料记载，很多人劝他明哲保身，他道：“如果浅野幸长战死了，我有什么面目见浅野长政啊？”也难怪，浅野长政可是丰臣政权的宰相，要是知道宝贝儿子成了加藤清正的替死鬼，这梁子就结大了。于是他连夜率领第二军团精锐驾船回援。一路上，发誓狙击的朝鲜水军却连个鬼影子都没有。当天半夜时分，加藤清正率军登陆，一举突破明军巡逻线，进入了岛山堡垒。
如此一来，岛山的日军总兵力暴增至一万余人，明军的任务陡然艰巨了。
麻贵闻讯不禁暗自骂娘，一骂杨镐瞎指挥，二骂权栗瞎忽悠。但仗还得打下去，他一面派李如梅率骑兵一千、游击卢继忠率步兵两千封锁江口，警戒敌方援军，一面只能安慰自己：这下说不定能把加藤清正一锅端了。
二十六日一早，麻贵亲自督战，明军各部鼓勇齐进，终于攻陷第三道木栅，进抵岛山城墙。这下麻烦来了，岛山堡垒依着山形修得极其陡峭，明军的车载火炮仰角不够，基本派不上用场；虎蹲炮倒是可以曲线设计，但堡垒紧凑，炮弹往往直接越过城头，打到爪哇国去了，即使偶有命中，以虎蹲炮的小型炮弹也根本轰不动巨石砌成的城墙。联军只能靠鸟铳、弩箭的掩护拼死仰攻，战至下午，连大同镇副总兵高策也亲自上阵，率敢死队一度攻入城内，只可惜城里的日军居高临下赌命抗拒，用密集的火力截住了后续部队，高策寡不敌众只能退回。浅野幸长也是亲自拿把火枪防守第一道石墙，《浅野家记》说他连脸颊都被火枪发射的硝烟熏黑了。战况之激烈可见一斑。二十七日联军换班，由朝鲜军总司令权栗率部进攻。他命朝鲜士兵背负柴草堆积城下，想用火攻的法子烧毁城门。只可惜日军火力密集，朝鲜军死伤惨重，余者掉头就跑。权栗激怒之下斩杀了临阵怯战的临山县监全悌，还是无济于事。
其实不光麻贵着急上火，杨镐也没有闲着。他从战俘那里搞到了情报，说是岛山固然易守难攻，但山上没有水源。杨镐的脑瓜灵光，再一想小小城堡聚集了上万日军，不光喝水，只怕粮食也不够吃的。他赶紧找来麻贵合计：为减少将士的牺牲，咱们围而不打，困死、渴死那些倭贼算了！
事实证明杨镐确实是个聪明人。联军围困几日后，日军果然粮水皆断。中日朝史料都记载，日军只能吃纸张树皮充饥，甚至杀马饮血、喝尿解渴，到最后只能让几百名火枪手勉强吃饭充饥，其他人饿死拉倒，史载“饥渴死者，尸横成堆”。根据日军参战者笔记，最后岛山城内已经没有一人能张口说话，只能像原始人般嘶鸣而已。正月初一，养精蓄锐的明军又发起攻击，竟然一鼓作气攻破了第一道和第二道石墙，幸亏日军还有几百能吃上饭的火枪手，不然就彻底完了。据说绝望的加藤清正写了乞和信，妄想联军给残部一条生路。他写道：“欲为讲和，而城中未有知文字者，船上有僧，若使出使，则欲修和书。”联军认为他是缓兵之计，决定不予理睬。
如果不出意外，加藤清正和浅野幸长都得成为孤城饿殍了。
只可惜，战争总是充满了意外。
围城困敌的办法不错，只是有两个前提条件：一是老天不下雨，二是敌人没援军。杨镐自觉上知天文、下知人情：一来冬日哪来的大雨，二来小西行长和加藤清正是死对头，绝不会全力救援。但朝鲜的老天爷真是瞎了眼，竟然帮起了血债累累的倭寇。从正月初二开始，瓢泼大雨倾盆而下，立马解了日军的渴水之患。反倒是露宿围城的联军遭了秧，史载“山下皆烂田，我兵无着脚处……又苦泥没膝，昼夜围守，冰雪裂肤”。正月初三中午天气稍微转好，联军赶紧发起攻击，这一仗一直打到初四的凌晨，但泥泞湿滑的地面极大地加重了进攻的难度，不光明军的骑兵、火炮难以使用，连步兵也甩不开步子。明军死伤数百人，领头冲锋的游击杨万金、陈愚冲也受了重伤。眼看到嘴的鸭子就是吃不到肚子里，连老天爷都不帮忙，联军的士气开始下降。
屋漏偏逢连夜雨，更糟糕的是，就在初四晚上，敌人的援军竟然也来了。杨镐分析得没错，小西行长确实不想搭救加藤清正，其他将领也畏难不前，只装模作样地派了十几艘兵船走过场，还都被明军炮火打沉了。但偏巧此时来了个愣头青——小早川秀秋。这小子（确实是个“小子”，蔚山之战时年仅十六岁）曾经给丰臣秀吉当过养子，又是第一次侵朝日军实际总指挥小早川隆景的继承人，所以这次高居侵朝日军左路军总司令。其实他平常也就跑跑后勤，从没真正上过战场，但这回刚好从日本押粮到釜山港，听说岛山被围，竟然初生牛犊不怕虎，严令诸将会军赴援。毛利秀元、黑田长政、岛津义弘等人只得凑出两万精锐，于正月初四进军岛山。
这一来，阴差阳错间，天时地利人和全倒向了日军一边。遮天蔽海的日军船队在太和江趁夜登陆。负责打援的李如梅战力不错，却全然没有哥哥李如松的胆略，见势不妙就带着一千骑兵掉头北奔，成了后来明清战争时辽东骑兵效法的榜样。卢继忠倒是条硬汉，带着两千步兵死战硬抗，但挡不住海潮般汹涌而来的敌军，让日军主力杀向了岛山。
围城的联军刚刚经历了厮杀，此时都在雨雪中露宿寒夜，睡得正沉呢。忽然闻得太和江畔战火升腾、杀声整天，联军人心大乱。面对敌军的突然夜袭，联军的指挥体系失灵了：为了完全封锁岛山堡垒，联军分为四处大营，杨镐、麻贵在城北扎营，高策在城东扎营，吴惟忠驻在城南，李芳春驻在城西，深更半夜的，各部之间更是难以联络。实际上，古今中外的军队面对夜袭都没有什么好法子，在这种局面下，战术谋略、军队人数、武器装备什么的都不管用，扭转局面的唯一机会，就是指挥官的应急反应能力和死战到底的勇气。
只可惜，杨镐不是这样的指挥官。要他羽扇纶巾、谈兵论战可以，临阵应变就尿裤子了。于是，脑袋灵光、腿脚也灵光的杨镐率先奔逃。诸军也随即纷纷急撤。危难之时，方显中流砥柱。吴惟忠、茅国器所部四千人因为扎营于城南，北撤时居于队尾，遭受日军猛烈攻击。但戚家军的后裔果然是一支铁军，大敌当前不为所动，在两位将军的指挥下阵型有序、奋勇抗击，在成功掩护大部队撤离后，自身也杀透重围而归。日军也深知是占了乘夜奇袭的便宜，等到天明再打阵地野战就没准了，于是见好就收撤回了岛山。
轰轰烈烈的蔚山战役，就这样虎头蛇尾地落下了帷幕。联军先胜后败是事实，杨镐也因此被撤职查办。弹劾杨镐的明朝言官声称联军死伤高达两万，这个说法还被写入了清朝修撰的《明史》。但正如《明史》说入朝明军“丧师数十万”纯属无稽之谈一样（那样的话，明军将士每人得翻来覆去地死上好几回了），这个数字也是言官们的耸人听闻之语。杨镐自己上报的数字是死伤千余，显然也是遮掩之语。相对中立的是朝鲜人。朝鲜大臣的私人笔记是“唐军（指明军）死者无数，或云三千，或云四千”，而朝鲜官方给明朝的奏章也写道：“先后阵亡官兵共八百余员，被伤官兵共三千余员……被伤官兵因伤而死，该数想过一千余员名。官兵死伤之数，大约如此。”与之相应的是，日军光是蔚山驻军死者就有数千人之众，两军战损大致也差不多。