，包括江都朝中，不断有大臣谏言他赶紧回去长安坐镇，天下尚可救之，他却置若罔闻。从出生他就锦衣玉食，没有遇到过挫折，如今面对危机，他因此选择了逃避。不仅无心北归，沉溺於声色犬马，试图在醉生梦死中忘却现实的困境，并在前时，他甚至作出了一个想当然的决定，欲都丹杨，保据江东，遂命群臣廷议之。
内史侍郎虞世基等江东人，皆以为善；右候卫大将军赵才为首的北地人，极陈不可，请车驾还长安。两下争执不休，赵才恼怒而出。门下录事衡水李桐客进言说：“江东卑湿，土地险狭，内奉万乘，外给三军，民不堪命，恐亦将散乱耳。”御史弹劾李桐客谤毁朝政。於是，公卿皆阿意言：“江东之民望幸已久，陛下过江，抚而临之，此大禹之事也。”
定都丹阳，保据江东此议因乃得定。
杨广乃命治丹杨宫，将徙都之。
却这杨广此意，实一意孤行，既无深谋远虑，亦乏审时度势。虞世基等江东人，当然希望借此巩固自身地位，可朝中的那些北地大臣，还有从驾在江都的骁果将士也多北方人，他们对江东并无归属感，父母妻子都在家乡，他们怎么可能会愿意跟着杨广从此留在陌生的江南？
加上江都粮尽，物资匮乏，果真是如李善道与魏征等人所说，朝中的北地大臣、从驾的骁果将士，人心思归，见杨广无西还之意，便乃大都私下商议叛归，军心浮动，士气低落。
郎将窦贤帅所部西走，杨广遣骑追斩之，而亡者犹不止。
扶风人虎贲郎将司马德戡素有宠於杨广，杨广相信他，使他领骁果屯於东城。司马德戡与所交好的虎贲郎将元礼、直阁裴虔通相谋，说道：“今骁果人人欲亡，我欲向皇帝禀报，恐先事受诛；不禀报，於后事发，亦不免族灭，奈何？又闻关内沦没，李孝常以华阴叛，上囚其二弟，欲杀之。我辈家属皆在西，能无此虑乎？如我辈家属也叛，我辈岂不亦死？”
——李孝常，陇西成纪人，李渊入关中时，他为华阴令，将城与境内的永丰仓都献给了李渊。
听了司马德戡这话，元礼、裴虔通二人皆惧，问他：“然计将安出？”司马德戡说：“骁果若亡，不若与之俱去。”与之俱去，或可保全性命，且能谋一立足之地；而若继续留在杨广