到金国去。
完颜宗翰开始不同意他的建议，觉得应该继续往南，直到占领整个大宋。但是完颜宗望坚持自己的观点，虽然他们两个各自领了一队人马，但如果完颜宗望坚持自己先回去，而完颜宗翰担心他不回去的话，皇帝面前所有的功劳只怕一大半都会被完颜宗望给抢走，于是只好被迫同意先班师回朝，来年再攻打南方。
而且他们在占领的重要的州县都留下了金军把守，他们只是暂时回去，等待来年再往南进攻。完颜宗望没有反对这个意见，于是达成一致之后，他们押着这两个俘虏的皇帝和许多的嫔妃大臣，还有熟练的工匠，加起来有将近十万人口，开始缓缓往北移去。
完颜宗望一直在路上期待着杨仙茅能够早点出现，可是一直到他们已经快到了原先金国和大宋的边境的时候，杨仙茅才出现。