赵构到杭州不久，汪伯彦和黄潜善也带着数千残兵败将逃到了杭州。
得知汪伯彦和黄潜善也逃到杭州了，赵构大怒！
赵构把军政大权全部交付给黄潜善和汪伯彦，在黄、汪的全权处理之下，却制造成这样一种溃败局势，赵构怎能不怒？
不过赵构最怒的还不是汪伯彦和黄潜善一直坚持的屈服逃跑政策给赵构这个小政权造成了极大祸害，而是因为他们使赵构从扬州逃跑得太不及时了，使得王渊等人给赵构进行的大量金银绢帛全都丢在了扬州，更害得赵构已经多日不举了。
不仅赵构恨汪伯彦和黄潜善，其他官员、豪绅、富户和富商大贾们也都恨死了汪伯彦和黄潜善。
要知道，不仅府库所积的金银绢帛，官员、豪绅、富户和富商大贾们的金银财宝细软诸物，也大部分已封装妥当，装入几千只船舶当中，停泊在从扬州到瓜洲的运河里。
要不是，汪伯彦和黄潜善的消息那么不及时，还一直在稳住他们，那些金银财宝细软诸物怎么也不至于全都留在扬州，成为中军的战利品。
甚至就连普通民众也恨死了汪伯彦和黄潜善。
当时，因为汪伯彦和黄潜善反应实在是太慢了，以至于整个扬州城全都乱套了，当官的、当兵的、老百姓，都急着出城，就在城门那儿挤成了一团。
在这种情况下，这些逃跑的大臣和军士不但不先保护百姓，反而乱刀乱棍砍杀拥堵的百姓，以便清出道路自己先跑。
百姓们群情激愤，把矛头一起指向了汪伯彦和黄潜善这两个奸相。
百姓们说，要不是这两个奸贼祸国殃民，康王也不至于扔下我们不管，于是，大家喊着要杀掉汪伯彦和黄潜善泄愤。
当时，另一个姓黄的大臣要出城，命他的随从驱赶堵路的百姓。
随从们一边驱赶百姓一边喊，快躲开，黄老爷要出城了。
百姓们一听说是黄老爷，以为这是黄潜善，于是大家一拥而上，拳打脚踢，棍棒齐下，就把这位姓黄的大臣打死了。
这个倒霉的黄姓大臣，做了黄潜善的替死鬼。
再加上，黄潜善的军队，几乎都在这一役当中被中军给击败收编了，黄潜善已经失去了最大的依仗。
于是，赵构罢免了汪伯彦和黄潜善两人的职务。
一方面这是因为汪伯彦和黄潜善的名声已经太臭了，再用他们会引起公愤。
另一方面，赵构也觉得汪伯彦和黄潜善误国。
当然，赵构不是因为汪伯彦和黄潜善巧言令色、善于谄媚而觉得他们误国。
赵构更不喜欢李纲、宗泽那样整天吵着收复失地、迎回二圣的大臣。
赵构是觉得，汪伯彦和黄潜善在骗他，整天说天下无事，结果造成中军兵临城下，又无能打不过中军，以至于他从扬州仓皇出逃的窘局。
汪伯彦和黄潜善被赵构撤掉之后，赵构又任命名声不错的朱胜非为宰相，王渊为枢密使兼御营都统制。