之命是我所下，可如今尚未探明敌军虚实，岂能仓促就撤？李山海与李德馨二人平日里一副深明军务之像，怎的连大军该如何撤退都不晓得？眼下军械辎重尚在前线，你等传我将令，要求各部整肃军纪、有序撤离，我自断后拖延！”
众所周知，大军进攻远比撤退容易。古今中外无数战史表明，一旦撤退布置得不好，演变成溃败的几率非常大。
麻贵的命令本是“各部准备撤退”，这里除了他交代的探明倭寇援军虚实之外，还有个隐含意思，就是各部该打点行装的打点行装，该安排殿后的安排殿后，最后才是有序撤退。
谁知李山海和李德馨二人也不知道是不懂还是故意为之，居然二话不说带着朝鲜军就先撤了。这一来再加上倭寇大股援军来袭的消息，自然把明军也带崩，各部谁也不想被倭寇一支新来的生力军逮着打，于是纷纷都想先走一步。
李山海、李德馨二人或许不懂，麻贵打了半辈子仗却焉能不知其中危险？于是便有了上述怒斥。
吴惟忠劝道：“现在说这些恐怕已经晚了，朝鲜军已先撤离，所空缺的阵地一时半会儿根本没有兵力堵上，提督身为主帅不可立于危军之中，倘若万一有失，只怕军心难复，各部必将慌不择路、溃不成军，惨遭倭寇屠戮。
末将以为提督当立刻整军撤离，末将与茅参戎所部以步军为主，可以率部断后，抵挡倭寇侵攻，只要大军安然撤走，我二人便随后赶来会合。”
麻贵此时急出一身汗来，居然连脑子都清醒多了，知道按他这建议做虽然看似有畏战之嫌，但却是当前最正确的选择，因此放下面子问题，连连叮嘱二人务必保全性命，千万不要在这种情况下选择死战到底，做那毫无意义的牺牲之举。
二将见麻提督虽然抱病，但思维仍然清晰，立刻抱拳领命，于是麻贵便令吴惟忠及茅国器领兵五千殿后阻击，自己亲自督军撤离，同时护送辎重。
小早川秀秋大军很快赶至战场，随即便向明军阵地杀来，加藤清正在城中见得分明，也毫不犹豫领军出击，吴惟忠及茅国器幸好都是戚家军出身的名将，所部历来善攻又善守，因此苦战之后仍能有序后退，但也好不容易才得以杀出重围。
然而此战毕竟事发仓促，明军各部难免有争相夺路之举，通往蔚山之路虽然不远，但损失仍然超过预计。
最终此战日军战死、负伤、饥渴而死者共计近万；朝鲜战死千余，负伤三千；明军亡三千有余，伤者也是三千左右。
但最让麻贵怒火中烧的则是，明军在先期强攻阶段的阵亡也不过千，之所以最后阵亡超过三千，其中两千都是撤退导致。这样重大的伤亡，归根结底都是朝鲜军胡乱撤退引发，气得麻贵立刻写了亲笔信向高务实告状。
李山海与李德馨也有话说，同样写信给高务实告状，大意就是说如果麻贵早先打得更坚决一些，拼着一些伤亡将岛山强攻而下，后来这些事情根本不会发生。
至于有人说他们朝鲜军先撤，那主要是双方在语言理解上出了偏差，因为朝鲜这边如果军议说撤退，那就是立刻便撤，断无麻贵所言那些各种各样的准备和安排。
不过说来也不知道是好事还是坏事，在这次作战中，撤退期间唯一全身而退的既不是麻贵主力，也不是朝鲜军，当然更不可能是吴惟忠和茅国器所部，而是李如梅。
李如梅所部因为以骑兵为主，攻城战没有太多的发挥余地，一直连驻军都相对靠外， 平日里甚至有些无所事事。
结果当日他听到日军援军来袭之时，本以为麻贵会立刻派人来传令让他出动——无论是出战日军，还是查探日军，按理说都有可能，主要看麻贵打算如何决定全军行动。
然而意外的是，他得到的消息居然是李山海与李德馨派人送来，说麻提督下令立刻撤退。