炀帝还自以为天国大帝，以坦荡待人，其实正中高丽计谋，被对方屡屡得手。
另一支公孙述统领的大军为赶路，下令士兵弃粮轻装前进，走到半路就没粮食吃。又饥又寒之下，竟还能一日七胜。即恃骤胜，公孙述不听劝告，东渡济水，距平壤城三十里因山为营。但城坚池深，兵又无粮，又冻又饿，公孙述结阵退师，高丽军自后追击，诸军皆溃，将士奔还。另一支来护儿统领的大军听见消息也败还。
渡过辽水作战的三十万人，回到辽东城时才二千七百人，损失军械资储巨万。第一次征战高丽失败。
大业九年四月，又羞又怒的隋炀帝又第二次亲征高丽，败军之将宇文述等仍为统将率军进击平壤城。
出乎意料的是，大臣杨素的儿子杨玄感在国内造反。当时隋炀帝正围攻辽东城，遣兵士刚刚做了一百多万土袋，堆为鱼梁大道，高与城平，命战士登踏攻城，本来马上就要攻克城池，恰值此时杨玄感反讯传来，炀帝大惊，半夜忽然密令撤兵。隋军营内军资、器械攻具，积与山高，营垒、帐幕都按堵不动，回撤的隋军兵士不知退兵原因，惊疑恐惧，一路跑散了许多。
高丽兵察觉到隋军撤走，但都不敢追击，直到转天天亮才渐渐出城侦探虚实，看见那么多军械、物资，又惊又怕又慌，都想不到高兴。
公孙述、来护儿等人打高丽没能施展才能，对付杨玄感倒很在行，连战连捷，在董杜原一举击败杨玄感，玄感自杀。杨玄感之所以失败，主要因为私心太重，妄图称帝，所谓“好反而不欲胜”，最终被众将所败。
炀帝恨恨不平地说：“玄感一呼而从者十万，可见天下人多了不好，人多就会相聚为盗，杀人不尽，无以惩后。”大臣希旨，仅杀与玄感有牵连的人就达三万之多。凡是在杨玄感开仓发米时领过米的洛阳居民，全都被活埋在城南。
大业十年（公元614年）二月，隋炀帝又下诏征发天下兵，百道俱进，第三次伐高丽。
三月，炀帝亲至涿郡。此次征伐，一路上士卒相继逃亡，军队越走越少。七月，炀帝车驾至怀远镇。当时天下已经大乱，所调征的军队许多都失期不至，一是因为半路逃亡，二是因为路中为义军所阻，有的就地和当地人就一起造反了。
高丽经过几次大战，国内也困弊不堪，就遣使请降，把上次战争中因和杨玄感关系好而叛逃至平壤的大臣斛斯政捆缚送回隋军。
有了这么一个大台阶，炀帝大悦，诏示已经逼近平壤的大将来护儿还师。来护儿对军士们说：“大军三次伐辽，都未能胜利，现在高丽穷困，肯定能一举攻灭，否则劳而无功，我们作军人的多么羞耻啊。”其长史崔君肃不敢违诏进战，吓唬众将说违诏就要得罪于皇帝。众将不从，来护儿惶恐之下只能无胜班师。
可笑的是，隋炀帝从怀远镇“大捷”班师，邯郸“贼师”杨公卿率八千人抄掠皇帝禁卫后军，掠得上好御卫四十二匹，扬长而去。由此可见，炀帝这时候已经已经大失声威人望。
大业十一年八月，隋炀帝又巡幸北塞。当时启民可汗已死，其子始毕可汗完全没有恭敬的样子，因怒隋朝封其弟为南面可汗，就发兵数十万把隋炀帝围在雁门。雁门有城四十一，突厥已攻克三十九，最后仅剩两城不下，飞矢入城，射及御座，杨广吓得抱着儿子赵王杨杲大哭，眼睛都哭肿了。于是下诏天下，高官厚赏，募兵勤王，当时年仅十六的李世民也在勤王军中，一举成名。
由于隋军各路兵至，始毕可汗解围而去。苦守雁门的一万七千将士只有一千五百人得到虚勋封赏，勤王人马什么赏赐都没有。
接着，炀帝怪高丽王没有如约来朝，又议伐高丽。将士、民众无不怨愤。
由于杨玄感造反时已经焚毁所有龙舟水殿，至此杨广又下诏令江者重新制造几千艘大小船只，形制比先前更宏丽更精制。
江都变起死于匹夫——隋炀帝的最后岁月
大业十二年，隋炀帝不顾臣下反对，在国家即将土崩之时，再次游幸江都。夜间，躺在楼船之内，隋炀帝隐隐约约听见外面有歌声：
“我儿征辽东，饿死青山下。今我挽龙舟，又困隋堤道。方今天下饥，路粮无些小。前去三十程，此身安可保。寒骨枕荒沙，幽魂泣烟草。悲损门内妻，望断吾家老。安得义男儿，烂此无主尸。引起孤魂回，负其白骨归。”
隋炀帝惊起，派人查询唱歌的人，根本找不到人。“帝颇彷徨，至通夕不寐。”[手机电子书]
当时，天下糜烂，诸郡及地方将领告急求援文书不断，都被炀帝身边大臣虞世基等压下，只说是“鼠窃狗盗，不久郡县当捕灭，希望陛下不要以此介怀。”
大将杨义臣破降河北义军数十万，列表上奏，炀帝叹息道：“我开始都不知道造反人数，现在怎么连降贼都这么多啊。”虞世基忙说：“小偷小摸人众虽多，未足为虑，皇上您应担心杨义臣拥重兵在外，专权日久，恐怕生变。”炀帝信以为然。下诏杨义臣解散部下，各归乡里，“贼由是复盛”。
当时兵锋最盛的除窦建德、格谦以外，还有李密、翟让等人的瓦岗军。其中李密让祖君彦写的《讨隋炀帝檄文》为后世所传，文采飞扬，指摘中的，书列炀帝弑父、乱伦、嗜酒、劳民、滥赋、兴役、征辽、滥诛、卖官、无信等十大罪恶，并指出：
“有一于此，未或不亡。况四维不张，三灵总瘁，无小无大，愚夫愚妇，共识殷亡，咸知夏灭。罄南山之竹，书罪未穷；决东海之波，流恶难尽。……”
炀帝一直以文才自诩，估计没有机会亲览檄文，否则肯定会叹赏祖君彦之才。(这位祖君彦也是贵家子弟，其父祖珽是北齐仆射，曾杀掉北齐忠臣斛律明月，所以，当薛道衡推荐祖君彦给文帝时，杨坚说：“是那个杀斛律明月人的儿子吗，朕不会用他！”祖君彦如此文才，又是贵族世家，由此郁郁思乱。等他投靠李密后，终于有机会申斥隋廷，私仇在心，文章自然透骨犀利。王世充大败李密后，俘获这位大才子，斥道：“你替叛贼大骂国家够了吗！”祖君彦辞色不屈，王世充派人乱棒打他。过后，王世充自己也想篡隋，很后悔要杀祖君彦，派医士去给他治疗。当时祖君彦已经被打得气息奄奄，倒卧树下。偏偏一个郎将叫王拔柱的，说道“这个弄笔的穷酸死有余辜，”上前猛踢才子心窝，把祖君彦踢死。这个王拔柱真是个王八猪，千古才子，竟死于此粗人臭脚之下。)
隋炀帝自负才学，常常认为他自己的诗文天下第一，他对侍臣讲：“天下都讲朕是因为父皇余烈而有四海，假设让朕与士大夫以文章竞争，朕也应该为天子。”对于文人名士，他也心有嫉妒。大臣薛道衡被赐死后，他恨恨而言：“还能作‘空梁落燕泥’的诗句吗？”王胄被杀，炀帝又背诵这位臣下的佳句，并阴狠地嘲弄：“‘芳草无人随意绿’，王胄再也作不了吧。”.
不仅民众群起反叛，连李渊、罗艺这样的勋贵大臣也巧立名目起兵，不听朝廷节制，占据重要城镇，李渊自己还攻占都城长安，迎立杨广的孙子代王杨侑（为死去的太子杨昭之子）为皇帝，改元义宁。杨侑时年十三，完全是个傀儡皇帝，遥尊杨广为“太上皇”。
公元618年，隋炀帝已在江都呆了近两年，成日与幸妃嫔妇千余人饮酒作乐，荒淫日甚。内心深处，隋炀帝也预料到天下纷乱无法收拾，无心北归，只是在宫中厚自奉养。
每当酒后阑珊，杨广幅巾短衣，策杖步游，遍历宫内舞榭歌台，汲汲顾景，惟恐不足。由此，已见其心事重重，内不自安。
一天，他边照镜子，边对萧皇后说：“这么好的头颈，会是谁来砍呢！”皇后大惊，问何以言此。炀帝苦笑，说：“贵贱苦乐，更迭为之，亦复何伤！”
由于江都周围已经摇荡不已，粮食渐渐吃完，从行的禁卫军多是关中人，人心思归，不时有兵将逃亡，斩诛多人也止不住。有宫人向炀帝告发外人谋反，炀帝大怒，立斩。而后再有人告变，连萧皇后也劝说宫人不要再冒死进言：“天下事一至于此，无可救者，何用言之，徒令帝忧耳！”多少年后，元军出征花棘子模，大胡子国王日夜忧心，也是厚赐报平安者，立斩道实情的臣下，其心情想法和杨广彼时一模一样，正所谓掩耳盗铃耳。
宇文述的两个儿子宇文智及、宇文化及以及禁卫军首领司马德戡，见天下英雄并起，众叛亲离，就一起密议废掉隋炀帝。于是，他们先散布谣言，讲炀帝听闻禁卫军（骁果）想叛乱，正多酿毒酒，尽杀关东人，只留南人在身边。禁卫军大相惊骇，互相转告。
司马德戡趁机召集众人，兵士惊惧惶恐之下都讲“死生从命”，豁出去决定造反。
炀帝发觉有变，逃入西阁。其宠妃魏妃为兵士开门。炀帝忙逃入永巷躲藏，又有美人告诉兵士其所躲藏之处。
校尉令狐行达拔刀直入，炀帝隔着窗子问：“你想杀我吗？”`
令狐行达说：“臣不敢，只是将士思归，欲奉迎陛下还京师。”
炀帝说：“朕也想回去，因为粮食未到，现在和你们一起回去吧。”
兵士逼迫炀帝乘马入朝堂慰劳百官，牵来一匹马，炀帝此时仍嫌马鞍弊旧，换上新的后才勉强骑上，兵士挟刃牵缰而出。
反叛兵士见到皇帝本人已在掌握之中，欢呼遍地。宇问化及望见炀帝，知道事已成功，一反当初惶恐之态，对左右说：“何用持此物出来，杀掉算了。”于是逼拥炀帝返回寝殿。