扬州，只是黄潜善、汪伯彦一伙人却束手无策，根本不知道该如何排兵布阵来防御金兵。得到消息的扬州当地富豪被吓得纷纷搬到城外以避险，搞得城中人心混乱，惶惶不可终日。
当时，只有韩世忠主动引军去往淮阳屯兵御敌，可当完颜宗翰所率大军来临之际，韩世忠发现自己居然是孤军一支，周围一支援兵都没看到，敌众我寡，只好不战自退，留下一支老弱残兵留守淮阳后，先退至宿迁，再退至沐阳。
到沐阳以后，来不及收集渡船供大部队渡河，只好停下来休息。韩世忠被金军追的心中慌乱，根本睡不着觉，总觉得金军马上就要追来，于是带着几个亲兵乘着半夜涨潮，找来一艘小船渡水而去跑到了盐城，把大部队扔在了北沙路。
直到第二天早上，将士们才发现主帅居然已经独自逃跑了，于是一哄而散。
在韩世忠跑路之后，留守在淮阳的将领不战而降；楚州知州朱琳更是主动写信送往金营表示自己愿意献城投降。
只有泗州守将阎仅带着部队撤往扬州，赵构派出去打探消息的内侍邝询，就是在半路上碰到阎仅，知道金军已经打了过来，才得以先一步回到扬州报信的。
正是因为扬州以北的各州县守军，多数非叛即逃，完颜宗翰统率的金兵才能毫无阻碍地尾随着阎仅的部队，一直追到了扬州城下。
赵构等人仓皇逃到了瓜洲渡，在瓜洲等船的时候，碰到了随后赶来的吏部尚书吕颐浩及礼部侍郎张浚，遂一起乘小舟渡江。
上了船，到了江上，赵构大汗散去，这时才感觉到冷，里面只有一层胡乱套上的薄薄中衣，外面披着一副轻甲，被冷冽的江风吹得哆哆嗦嗦，清鼻涕直流，还是吕颐浩出门的时候穿的齐整，脱下自己的毛裘大氅给赵构围住，赵构才不至于冻僵。
宋高宗乘坐的是一艘小船，到对岸西津口水府庙中暂歇。由于船太小，除了康履、蓝珪、邝询、王渊几人陪同在侧外，其他大臣、护卫、禁兵没有一人在场。
镇江府知军州事钱伯言听说皇帝从扬州跑过来了，赶紧派士兵驾船过来，将赵构几人接到镇江府。
直到抵达镇江府，赵构才脱下甲胄，穿上当地士绅进献的一身黄色袍子（从扬州出逃时慌里慌张地，啥都没来得及拿