大批御史弹劾吕颐浩，原因是吕颐浩扰民，说他“郡县横敛，铢积丝累，江东、西之害尤甚。”而且吕颐浩任用私人，喜欢公报私仇。这些都属实，但其实只是斗争需要而已。吕颐浩确实很能敛财，开设了月桩钱，但目的是为了给韩世忠筹集军费，每月十万贯。赵构下诏说，让吕颐浩筹措，从经制钱、上供钱和其他税收中移用，但吕颐浩将份额摊派下去，让各地均摊。
这就成了罪名。
究其原因，还是因为半壁江山，要承受超负荷的税收，只能巧立名目。但就是被挑出了把柄。因为吕颐浩变相增收了，而不是从原本的税负中挤出来，但如果能挤，还用增收吗？在少了北方大部分国土，还有更频繁的战争，不可能不增收。其实只要韩世忠没有因为缺饷而影响战斗力，这项搜刮就是值得的。
吕颐浩倒台之后，朝政落入了赵鼎和张浚势力手中。赵鼎在朝，张浚在外，一内一外，配合默契。