却说汉王杨谅起兵造反，汉王府官吏大多愿意追随他险中求富贵，然而，亦不乏反对者，关陇勋贵出身的并州总管司马皇甫诞就是其中一人。
这皇甫诞，为人刚毅，有器量。开皇年间，入朝担任比部、刑部二曹侍郎，俱有能干美名。升迁为治书侍御史，朝臣无不肃惮。后来，汉王杨谅出任并州总管，皇甫诞以公正方直著称，隋文帝拜他为并州总管司马，总府政事，杨谅甚是敬重他。
见杨谅用王頍之谋，发兵作乱。皇甫诞数次劝谏阻止，杨谅均不纳。最后，皇甫诞流涕进谏道：“我预料大王之兵力，不敌京师，加上君臣位分已定，谁逆谁顺，不言自明。时异事殊，我方兵马虽精，却难以取胜。愿大王奉诏入朝，守臣子之节，必有松乔之寿，累代之荣。如更加拖延，陷身叛逆之境，被追究以刑法，即使想作布衣百姓亦不可得也。愿察区区之心，思万全之计，敢以死请。”
皇甫诞点明：杨广已经称帝，杨广、杨谅二人君臣位分已定，既然先帝杨坚驾崩，作为儿子的杨谅理应前去京城奔丧，而不是起兵与二哥争皇位。
其实，历来兵不厌诈。隋文帝刚死，隋炀帝新立，且仁寿宫变，杨广是否曾经弑父，朝廷内外颇有异议，杨广的龙椅并不稳固。若杨谅也假传诏书、高举义旗，声扬元凶之罪而举兵，天下谁能敌之！
但是，杨谅哪里听得进去，当即拍案大怒，下令囚禁皇甫诞。
恰巧此时，并州流传一首童谣：“一张纸，两张纸，客量小儿做天子。”这首童谣是什么意思，无人知晓，杨谅闻知，内心窃喜道：“我所署官皆发告身（古代授官的文凭）一张纸，别授则发二张纸。我小名叫阿客，大名叫杨谅，量与谅谐音，我又是皇家最小的儿子，就是所谓‘客量小儿’，依这童谣所言，我当为天子！既然天命如此，还有什么好犹豫的？”
于是，汉王杨谅在并州起兵，欲争夺帝位，开始了军事冒险行动。他没有宣扬杨广之罪，却对外宣称：“杨素谋反，将诛之，以清君侧。”以谣言惑众而造反，尚未起兵就已经处于被动地位。
杨谅派遣大将军余公理出兵太谷（今山西太谷），直奔河阳（今河南孟县）。大将军綦良出兵滏口（今河北武安西南），前往黎阳（今河南浚县）。大将军刘建出兵井陉，以夺取燕赵之地（今河北省）。柱国乔钟葵出兵雁门（今山西代县）。又任命裴文安为柱国，与纥单贵、王聃、大将军茹茹天保、侯莫陈惠等率军直指京师。
当时，右武卫将军丘和为蒲州刺史，镇守蒲津关。杨谅挑选精锐骑兵数百人，都蒙上幂篱，即妇人蔽身用的面罩，来到蒲州城下，诈称是汉王府的宫人，要返回京城。杨谅造反的消息尚未传到这里，既是汉王的宫人，守城士兵不敢随便检查，就开门放行了。
就这样，杨谅叛军径直闯入蒲州，城中也有豪杰响应，直接杀入蒲州官衙。蒲州刺史丘和察觉有变，却毫无准备，只得孤身翻越城墙，逃归长安。而蒲州长史高义明、司马荣毗皆被叛军捉拿。
杨谅这一招“移花接木”出奇制胜，未废一兵一卒就攻占蒲州城。拿下蒲州后，按原定计划，接下来要渡过蒲津关，过黄河后直入京师。而一旦渡过黄河，杨谅的胜算就要减少了。
统帅杨谅一番考量之后，忽然改变战前意图，放弃向西挺进的原计划，决定割据北齐旧地。就在裴文安等人距蒲津关尚有一百余地时，杨谅派人传来命令，下令纥单贵拆断向西突进的黄河木桥，而固守蒲州，同时召回裴文安。
裴文安返抵晋阳，向杨谅抱怨道：“兵机在于神速诡秘，本欲出其不意。大王既不亲征，又将我召回，使敌人计谋成功，则大势已去！”
杨谅无言以对，任命王聃为蒲州刺史，裴文安为晋州刺史，薛粹为绛州刺史，梁菩萨为潞州刺史，韦道正为韩州刺史，张伯英为泽州刺史。这一举动，则是采取分兵据守、消极防御的下策，这就预示了杨谅即将被平定的命运。
杨谅诈众造反，本应事不宜迟，火速出击。然而，他却裹步不前，一是由于京师军情不明，二是后方不稳，故而不敢贸然出动。他不图进取，不敢进兵关中，为保据河东、占有北齐之境，南线采取守势。
岚州刺史乔钟葵要去投奔杨谅，其司马陶模反对道：“汉王所图不轨，公身受国家厚恩，当竭诚效命，岂能身陷祸端？”
“司马要造反吗？”乔钟葵脸色大变，用兵器对着陶模，但陶模辞气不屈不挠，乔钟葵感于其义气要释放他。
“若不斩陶模，无以压众心。”军吏却如此说道，乔钟葵下令囚禁陶模。此时，追随杨谅造反的共有十九个州。
汉王杨谅作乱于并州，检校代州总管李景带兵抗击叛军。杨谅遣刘暠袭击李景，战于城东。李景升楼张弓搭箭而射，叛军无不应弦而倒。李景又挑选壮士突击，将叛军斩获略尽。
杨谅又派遣岚州刺史乔钟葵率劲勇三万人攻打代州。李景手下战士不过数千人，加以城池不固，为叛军冲击，城墙相继崩毁，李景且战且筑，士卒皆拼死死斗，屡挫敌人锋芒。
李景手下的司马冯孝慈、司法参军吕玉都骁勇善战，仪同三司侯莫陈乂善于出谋划策，擅长拒守之术。李景知将士可用，对这三人诚心相待，不再过多参与，唯在帐中坐镇，不时外出巡逻安抚而已。
西线作战的李景被围困一月有余，隋炀帝下诏令朔州总管杨义臣率兵援救。这杨义臣，本姓尉迟氏，其父亲尉迟崇因同族尉迟迥作乱，自请改姓。义臣自幼养于宫中，隋文帝赐姓杨氏，收为从孙。
杨义臣率骑兵、步兵二万，夜出西陉，快天亮时已行数十里。乔钟葵侦悉杨义臣兵少，全部上阵拒之。乔钟葵的副将王拔，骁勇无敌，善用矛，射他不能中，他每次仅带几个骑兵就可冲锋陷阵。
杨义臣自以为兵少，悉取军中牛驴，得数千头，又令兵卒数百人，每人持一面鼓，悄悄驱赶牛驴至山谷间，出其不意。黄昏后，杨义臣又与钟葵叛军交战，两军刚交手，杨义臣就命士兵驱赶牛驴者狂奔。
一时间，尘埃满天，战鼓动地，钟葵叛军不知，以为官军大出伏兵，因而惊恐溃逃。杨义臣纵兵进击，以少胜多，大败乔钟葵，遂解代州之围。杨义臣与李景合军，从北面压向太原。
得知杨谅叛乱后，隋炀帝任命杨素为并州道行军总管、河北安抚大使，率众数万人出征，以讨伐杨谅。
隋朝王师蒲州失守，出战不利。汉王杨谅遣茹茹天保来据蒲州，烧断河桥，又遣王聃子率数万人合力拒守。
杨素率领轻骑五千，欲前往蒲州突袭王聃子、纥单贵。杨素率军赶到黄河岸边时，已是夜间，征收数百艘商船，船内铺上许多草，踩上去并无声，士兵口中衔枚，趁夜渡河；天快亮时，发动攻击，叛军茹茹天保、纥单贵败走，王聃子大惧，献城投降。
汉王杨谅遣其将领綦良从滏口进攻黎阳，堵塞白马津，（位于今河南滑县西北的黄河渡口），余公理自太行至河内。隋炀帝以史祥为行军总管，驻军于河阴，许久不得渡河。
史祥对军吏说道：“余公理轻率而无谋，才用素不足称，又新得志，依恃人多而骄横。且河北人先不习兵，所谓拥市人而战。以吾筹划，不足为惧。”乃令军中修攻具，余公理派间谍得知后，果然屯兵于河阳内城以防备史祥。
于是，史祥于黄河南岸备好船只，余公理集中兵力抵挡。史祥挑选精兵于下游暗中渡河，余公理率兵抵抗。史祥至须水，两军交战，余公理尚未布置好阵容，史祥纵击，大破之。接着，率军向东进逼，以讨伐綦良等人。綦良列阵以待，两均尚未交战，綦良就弃军而逃。于是，綦良部众不战而溃，史祥纵兵追击，斩杀万余人。
杨谅的各路叛军出师不利，节节败退。而他手下的关陇将领，对他不是阳奉阴违，就是据城叛变。
炀帝将征发幽州兵，却怀疑幽州总管窦抗与杨谅通谋，就询问杨素谁可任用，杨素推荐前江州刺史李子雄。杨广授李子雄为上大将军，拜廉州刺史。又以左领军将军长孙晟为相州刺史，征发山东兵，与李子雄合势。
长孙晟因长子长孙行布在杨谅军中，推辞道：“臣有男行布，今在逆地，忽蒙此任，情所不安。”
炀帝安抚道：“公著勤诚，朕之所悉。今相州之地，本是齐都，人俗浇浮，易可搔扰。傥生变动，贼势即张，思所以镇之，非公莫可。公体念国家之深，终不可因儿子而损害大义，故委以重任，公勿推辞。”于是，长孙晟遂奉命出兵。
而李子雄驰马至幽州，住在传舍里，召募到一千余人。窦抗恃其显贵，不按时拜见李子雄，李子雄派人相告。二日后，窦抗带着铁骑二千，来到李子雄的住所。李子雄事先埋伏下甲兵，请与窦抗相见，趁机擒住了他。
接着，窦抗发幽州步兵、骑兵三万，从井陉道讨伐杨谅。当时杨谅遣大将军刘建经略燕赵，正攻打井陉，两军相遇于抱犊山下（今河北获鹿西），李子雄力战破敌，升任幽州总管。
不久，李子雄上奏炀帝，称窦抗曾得到杨谅书信，却未奏报朝廷。虽查无实据，但隋炀帝怀疑窦抗存有二心，将他除名为民，以其弟窦庆承袭陈国公爵位。这窦抗，乃是窦荣定与安成长公主之子，而安成长公主，正是隋文帝杨坚的亲姐姐。
杨谅起兵之初，其妻兄豆卢毓为汉王府主簿，苦苦劝谏不可，杨谅不听。豆卢毓私下对弟弟豆卢懿说：“我若一人回朝，自得免祸，此乃为自身考虑，非为国家。而今暂且伪装跟从杨谅，慢慢见机行事，以思后计。”
豆卢毓的哥哥、显州刺史豆卢贤上奏隋炀帝道：“臣弟毓素怀志节，必不跟从作乱，但迫于叛者凶威，不能自主。臣请从军，与毓里应外合，则杨谅不足为惧。”
炀帝许之。于是，豆卢贤密遣家人将皇帝敕书送给豆卢毓，与之计议。
一日，杨谅出城，前往介州，令豆卢毓与总管属朱涛留守。豆卢毓劝说朱涛道：“汉王构逆，必将身败名裂，我等岂可受牵连获灭族之罪，又辜负国家呢？我当卿出兵共拒杨谅！”
“大王以大事相付，怎能口出此言！”朱涛惊叹道，并拂衣而去，豆卢毓追上去斩之，且放皇甫诞出狱，与他商议，还与盘石侯宿勤武等人关闭城门，以抗拒杨谅。而长孙晟的长子长孙行布，多谋略，有父风。此时正奉豆卢毓之命守城。
豆卢毓尚未布置妥当，就有人报告杨谅，杨谅回城袭击。豆卢毓见杨谅率军而至，就欺骗众人道：“此乃贼军也！”杨谅攻城南门，稽胡人守南城门，不认识杨谅，用弓箭射之，矢下如雨；杨谅移攻西门，守兵认识他，即开门迎接杨谅入城，豆卢毓、皇甫诞、长孙行布皆遇害。
隋炀帝以皇甫诞亡身徇国，嘉悼许久，并下诏褒奖，赠柱国，封弘义公，谥曰明。而豆卢毓时年二十八岁，赠大将军，封正义县公，谥曰愍。
杨素率步兵、骑兵共四万人奔赴太原。当时，晋、绛、吕三州都被杨谅叛军守住，杨素各派两千人牵制他们。
汉王杨谅遣赵子开拥十余万之众，用栅栏堵塞山径小路，占领所有通道，屯兵盘踞在高壁山关（今山西灵石南），布阵五十里。杨素令诸将带兵正面对敌，自引奇兵潜入霍山，沿着悬崖深谷前进，直捣叛军营地，鸣鼓纵火。叛军不知所为，自相蹂践。杨素一战破敌，杀伤数万人。杨谅任命的介州刺史梁修罗屯兵介休，听闻杨素将至，大惧，弃城而逃。
杨谅连吃败仗，十分害怕，便亲率大军，于蒿泽（今山西汾阳县北湖泊）布阵抵抗杨素。不料天降大雨，杨谅欲撤兵，王頍劝谏道：“杨素孤军深入，兵马疲弊，大王率领精锐，亲自出击，必能取胜。而今大王见敌欲退，示人以胆怯，阻我军战士之心，涨敌军之气焰，愿大王勿要撤回！”
王頍前后数进奇策，杨谅不能用。杨素至蒿泽，两均将战。王頍见杨谅无勇无谋，对儿子说道：“气候殊不佳，我军必败。汝可随从我。”
果然，汉王又不听从王頍，率其将领王世宗、赵子开、萧摩诃等人，亲领十万大军，退守清源（今山西清徐），距离并州三十里。不战而退，军心大乱。
而杨素主力越过嵩泽这一天然障碍，发动攻击。两军对阵清原，杨谅勒兵与官军大战，死者一万八千人。杨素以少胜多，大败杨谅，并于阵中生擒萧摩诃。
杨谅不得已，再次撤军，退保并州。杨素进兵，四面包围晋阳。杨谅兵败计穷，乞求投降，其余党羽也被一一铲平。
起初，杨素出发之前，计数日之内便可破贼，皆如其所料。杨谅起兵，月余而败，几十万大军得不到正确指挥，一败涂地，这是隋朝建国以来最大的一场内战。
文武百官上奏杨谅罪当死，隋炀帝却说：“朕终鲜兄弟，于情不忍，欲放宽刑法，恕免杨谅一死。”于是，杨谅被除名为民，绝其宗亲属籍，终身幽禁至死。其子杨颢，亦被禁锢。
见皇帝不忍加诛乱臣杨谅。著作郎王劭上书称：“臣闻黄帝灭炎，盖云母弟，周公诛管，信亦天伦。叔向戮叔鱼，仲尼谓之遗直，石碏杀石厚，丘明以为大义。此皆经籍明文，帝王常法。今陛下置此逆贼，度越前圣，含弘宽大，未有以谢天下。谨案贼谅毒被生民者也。是知古者同德则同姓，异德则异姓，故黄帝有二十五子，其得姓者十有四人，唯青阳、夷鼓，与黄帝同为姬姓。谅既自绝，请改其氏。”
王劭以此求媚，请为杨谅改姓氏，隋炀帝未准许。