两年后，大业十二年（616），杨广不顾臣下劝阻，一意孤行离开洛阳，又到了江都。这是他的第三次江都巡游。到大业十四年（618）江都兵变而亡，杨广再也没有回过关中。
作为皇帝，长期离开国都（“远去京国”），这件事颇不寻常。杨广这样做，史家分析有多重原因，包括想远离关陇集团、喜欢江南生活等。其实，最重要的原因，还是曾经雄才大略的杨广已经心态大变，丧失了治理国家的信心和激情。
大业十年（614）是不寻常的一年。年初，杨广亲率大军，进行了第三次征辽。这一次，高句丽没有顶住（或者还是一种策略？），七月，高句丽王高元派使者送隋叛臣斛斯政到辽东城，上表乞降。彼时，国内已经叛乱频频，杨广就坡下驴，接受了降表，班师回朝。
杨广一行于十月回到洛阳，当月又到了大兴城。在京师，杨广做了两件事情，一是施用酷刑处死了斛斯政，还命百官吃了他的肉，以解心头之恨。二是在南郊搞了一次祭天大典。十二月，杨广离开大兴城，又来到了洛阳，一住就是两年。
期间接连发生了几件大事。
一是大业十一年（615），春正月，杨广大宴群臣，突厥、新罗等二十余国都派遣使者朝拜进贡。但热闹之状已大不如前，尤其是刚被“征服”的高句丽并没有派人来，大大伤了杨广的面子。杨广非常生气，却又无可奈何。
二是当年三月，由于“李氏当为天子”之谶语盛传，杨广狐疑之下，加之宇文述公报私仇，罗织罪名，于是下令诛杀郕国公李浑，还有自己的外甥女婿李敏。这一场冤案，造成了隋王朝统治阶层的进一步撕裂。
三是八月，杨广北巡塞北，遭突厥始毕可汗率骑兵围困雁门，几乎命丧塞外。所幸和亲公主义成果断出手相助，始毕可汗才撤围而去。
下一步去往哪里？
当时就有老臣苏威建议杨广驾返京师大兴城，以安人心。惊魂未定的杨广闻之，面露难色。佞臣宇文述揣测杨广心思，奏请返还东都，杨广借此台阶，又回到了洛阳。经此一役，杨广的威望进一步低落，而他自己胸怀天下，改造世界的雄心壮志业已荡然无存，情绪也降至了最低点。
这时的隋朝大地，已是烽烟四起，甚至有“天下十分之九为盗贼”的说法。据统计，隋末起义多达260路。眼看形势难以控制，大业十二年（616），杨广决定离开东都洛阳，去往江都扬州。这一走，实际上就是为了逃避。
在处死了数位劝阻他南下的谏臣之后，杨广率百官于当年九月到了扬州。
到了大业十三年（617），全国各地烽烟四起，叛乱愈演愈烈。
四月份，李密以义军领袖的身份发布檄文，列举炀帝十大罪状，号召民众起义，震动天下。
五月份，杨广的表哥李渊在太原起兵，十一月，李渊兵进京师，遥尊炀帝为太上皇，立太子之子代王杨侑为皇帝，改年号义宁。
此时的杨广，深感无力掌控父皇打下的江山，内心已生割据之意。他召集群臣，商讨迁都丹阳，即陈都建康（现在的南京）事宜。此议遭到右后卫大将军赵才等人的力阻。但最终，杨广还是决心迁都江南，希望最后能求得划江而据的格局。杨广甚至跟萧皇后说，即使亡了国，他还可以和皇后过上陈后主帝后那样乐不思蜀的逍遥日子。
事实证明，杨广想得过于乐观了。
大业十四年（618），即义宁二年，宇文化及率禁卫军在江都起兵，缢杀杨广。幸免于难的萧皇后用床板做了个简易的棺材把他殡葬于流珠堂。
宇文化及离开后，留守的右御卫将军陈稜将炀帝安葬于吴公台，据说入殓时杨广容貌栩栩如生，令人惊异不已。
大唐平定江南后，改葬杨广于雷塘。后来有传说杨广的遗体被运回关中葬埋于武功洛阳村，与父母长眠的泰陵遥遥相望。最后证明这里只是衣冠冢。
历史虽不容假设，但后来人还是有话说。唐太宗李世民就说到，如果隋炀帝不离开关中，也不会亡国（“常处关中，岂有倾败”）。陈寅恪先生更是将隋炀帝和唐高祖对比：“与夫隋炀帝远游江左，所以丧其邦；唐高祖速据关中，所以成帝业。”陈先生认为，隋炀帝的亡国和他长期离开首都关系密切。
这样看来，隋炀帝杨广于大业十年离开京师且再未回返之举，恐怕是他统治后期的最大败笔了。