开皇十八年（598年），高颎爱妾产子的风波刚刚平息。其年二月，高丽国王高元率众一万余人兴兵犯境，被营州总管韦冲击败而逃。
隋文帝闻讯大怒，朝堂中商议讨伐辽东事宜，诸位将领无不摩拳擦掌，跃跃欲试。
“此去辽东，路途遥远，中间又有水路阻隔，运兵运粮着实不易，臣以为不宜轻举妄动。”高颎固谏不可。可是，怒火中烧的杨坚又怎会听他的话。
二月乙巳，隋文帝以汉王杨谅、王世积并为行军元帅，又以尚书左仆射高颎为汉王长史，周罗睺为水军总管，率领水陆三十万大军征讨高丽。
九月己丑（二十一日），隋军因暴雨、疾疫等变故，水陆两线均无功而还，损失惨重，元气大伤，死者十之八九。高丽国王高元惧怕隋朝强大的国力，遣使谢罪，隋文帝下令罢兵，待高丽如初。
独孤皇后再次搬弄是非，摆着一副事后诸葛亮的面孔，对隋文帝控诉道：“高颎起初并不愿去，陛下却强迫他去，臣妾就知道他会无功而还！”
“此番战事失利，也怪朕判断失误，意气用事……”杨坚低声嘟囔道。
“高颎阳奉阴违，消极作战，也未可知。”独孤皇后节外生枝，故意挑拨道，“适才阿客（汉王杨谅）向臣妾哭诉道‘儿臣万幸没被高颎杀害！’”
“皇后此话怎讲？”杨坚连忙追问道。
“陛下以为汉王年少，将军权全部交给高颎。高颎心中虽挂念国事，却倚老卖老，不避嫌疑。对于阿客所言，高颎多不采用，这才连吃败仗，损兵折将。”
“此前伐陈，高颎不服从阿摩（晋王杨广）的命令，这次讨伐高丽，高颎又不听从阿客之言。这个高颎，竟如此蔑视朕的皇子吗！”杨坚心中更加愤愤不平。
“高颎轻视晋王、汉王，唯独拥立太子，却声称自己一心为国，大公无私，真是可笑啊！”独孤氏冷笑道。
独孤皇后一席话，挑动了隋文帝的敏感神经。隋文帝深感高颎居功自傲，欲一手遮天，且高颎与太子亲近，定有不可告人的秘密，说不定哪日，他们一起谋权篡位……隋文帝越想越后怕，他对高颎的印象彻底改观，也是必欲除之而后快。
不过，高颎毕竟是朝中重臣，担任宰相多年，在朝野威望极高，欲罢免高颎，必须得有令人信服的理由，否则，必然难以服众。
自古以来，欲加之罪，何患无辞！即使无过错，也可以罗织罪名作为理由，隋文帝自然深谙此理。无巧不成书，很快就有奸佞小人揭发高颎结交反臣，而这个所谓的“反臣”，正是上柱国王世积。
这王世积，乃一员猛将。其父亲王雅，北周使持节、开府仪同三司。王世积容貌魁伟，腰带十围，风神爽拔，有英雄豪杰之表。在北周有军功，拜上仪同，封长子县公。
杨坚为北周丞相时，尉迟迥作乱，王世积追随韦孝宽讨伐叛军，每战有功，拜上大将军。隋朝立国，王世积进封宜阳郡公。
高颎欣赏其才能，与之交好。王世积曾私下对高颎说道：“吾辈俱为周之臣子，社稷沦灭，你我将何去何从？”
“此等大逆不道之言，今后勿向他人提及。”高颎正色说道。
未几，王世积授蕲州总管。平陈之役，率水军从蕲水奔赴九江，与陈国将领纪瑱战于蕲口，大破陈军。晋王杨广平定丹阳后，王世积派人四处送信告谕，陈国多地守将不战而降。王世积以功进位柱国、荆州总管，赐绢五千段，外加宝带，食邑三千户。
数年后，桂州（今广西桂林）人李光仕作乱，王世积以行军总管讨平之。回京后，进位上柱国，赐物二千段。隋文帝十分看重他。
然而，隋文帝虽是励精图治之主，到了晚年猜忌之心越发严重，持法严峻，喜怒不常，过于杀戮，功臣多获罪，公卿战栗，不敢错言。
王世积见状，便每日纵酒，到了嗜酒如命的地步，自此不再参与政事。隋文帝以为王世积患有酒疾，就安排他住在宫中，令御医为他治疗。王世积如同被软禁，浑身上下不自在，便谎称疾病已然痊愈，这才得以出宫回府。
开皇十八年，辽东之役，王世积与汉王杨谅并为行军元帅，隋军至柳城，遭遇疾病瘟疫而还。隋文帝任命王世积为凉州（今甘肃武威）总管，令骑士七百人送他前去赴任。
不久，王世积的亲信、安定（甘肃省平凉市泾川县）人皇甫孝谐犯下罪行，官吏追捕他，他逃至王世积处避难，王世积却怕留下他而获罪，故而拒绝收留。皇甫孝谐内心不快。
皇甫孝谐被捕后，发配至桂州，侍奉桂州总管令狐熙。令狐熙并未对他以礼相待，皇甫孝谐分外困穷。皇甫孝谐的家乡，地处汉羌边界，民风剽悍，悍不畏死。他被迫流放桂州，时常感慨自己是虎落平阳被犬欺。
开皇十九年（599年），四月丁酉，突厥达头可汗侵犯边塞。隋文帝以左仆射高颎为元帅，率军出朔州道，与右仆射杨素等分道击突厥。
高颎连连取胜，又出兵白道（今呼和浩特西北），欲进取漠北，并派遣使者向朝廷请兵。有近臣据此污蔑高颎欲拥兵谋反，隋文帝却一言不发。不久，高颎亦大破敌军，过秦山（今内蒙古大青山）七百余里而还。
再说那位遭受流放的无名小卒皇甫孝谐，为了追名逐利，不惜与王世积反目成仇，向隋文帝写密信告发称：“王世积曾令道人为他看相，看其以后是否大贵。道人回答：‘公当为君主。’又对他妻子说：‘夫人当为皇后。’另外，王世积将去凉州时，其亲信对他说：‘河西乃天下出精兵之处，可以图大事也。’王世积却答道：‘凉州地广人稀，非用武之地。’”
自古以来，凉州精骑横行天下，西晋史称“凉州大马，横行天下”。皇甫孝谐诬告王世积阴谋叛变，隋文帝自然雷霆震怒。
于是，王世积被征入朝，调查其事。有司上奏称：“左卫大将军元旻、右卫大将军元胄、左仆射高颎，都与王世积来往，均接受其所赠名马。”
在审问王世积时，王世积被屈打成招，吐露出一些宫廷秘闻，还说是高颎泄露的。隋文帝听闻此事大惊，不再像从前那样斩杀告密者，而是果断下令，欲追究高颎之罪。
当时，上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人，均上书声明高颎无罪。
见众臣袒护高颎，隋文帝怒不可遏，将这帮臣子全部交给执法官吏处理。其中，刑部尚书薛胄，持法宽平，有称职之名。见隋文帝欲治高颎之罪。薛胄想为高颎洗清冤屈，便对此案公正地发表言论，却违背了皇帝旨意。
隋文帝为了震慑朝臣，命人给薛胄戴枷，并将其囚禁起来，很久才赦免他。从此，朝臣莫敢多言。
八月癸卯（初十），上柱国、尚书左仆射高颎坐事免官，仅以齐国公身份归家闲居。隋文帝下令诛杀王世积，将元旻、元胄等免官，拜皇甫孝谐为上大将军。
未过多久，隋文帝巡幸至秦王杨俊府第，传召高颎侍宴。时过境迁，今非昔比，高颎歔欷不已，悲不自胜，独狐皇后亦和他相对而泣，左右人等皆流涕。
隋文帝却不耐烦地对高颎说道：“朕不曾辜负公，是公辜负了自己。”
“……”高颎收起了眼泪，欲言又止。
“朕对高颎胜过自己的儿子，虽然有时不见面，却常似在朕眼前。自其解官免职后，朕全然忘了他，如同世上本无高颎一般。”杨坚向侍臣们说道，目光突然犀利起来，“诸位需谨记，不可自恃有功，便要挟君王，自称天下第一！”
高颎连忙拜倒在地，汗流浃背，不敢仰头。
未隔数日，高颎齐国公府的国令上告高颎秘密行事，声称：“其子高表仁劝慰高颎道：‘当初，司马懿托病不朝，遂拥有天下。父亲如今遭遇类似情景，焉知非福！’”
高表仁以司马懿的故事劝高颎隐忍待发。于是，杨坚勃然大怒，下令将高颎囚禁于内史省审问。
有道是：“墙倒众人推，破鼓万人锤。”宪司又上奏高颎其他事情，声言：“高颎暗中召集僧侣占卜皇帝阳寿，沙门真觉对高颎说：‘明年国家将有大丧。’尼姑令晖又说：‘开皇十七、十八年，皇帝有大难，活不过开皇十九年！’”
杨坚听了，更加震怒，顾谓群臣道：“帝王之位，岂可力求？孔子以大圣之才，作法垂世，难道他不想要大位吗？只是天命不可违。高颎与儿子谈话言，自比晋宣帝，此是何等心思？”
“高颎谋逆不轨，请陛下将其斩首示众，以儆效尤！”有司请求斩杀高颎。
“朕去年杀虞庆则，而今刚斩王世积，如再诛杀高颎，天下人将如何说朕？”隋文帝叹息道，下令将高颎除名为民。
当年，高颎初为仆射，其母亲告诫道：“我儿富贵已到极点，所剩唯有砍头，务必谨慎小心！”因此，高颎常恐发生灾祸变故。
时至今日，高颎被免去一切官职和爵位，成为一介平民布衣，他却欢然喜悦，处之泰然，毫无怨恨之色，认为得以免于杀身之祸。
以前，国子祭酒元善以为高颎有宰相之才，曾向隋文帝夸口道：“杨素粗疏，苏威懦弱，元胄、元旻，正似鸭子，随波逐流。可以托付社稷者，唯独高颎！”
起初，隋文帝深以为然，至高颎获罪后，杨坚想起元善评论高颎的话语，竟责怪抱怨起元善。元善忧惧，先患消渴病，后疾病发作而卒。
高颎免官后，右仆射杨素贵宠擅权，百官震慑，其势如日中天，无敢忤逆者。此时，正如宇文述对杨约所言：“而今若请陛下立晋王为储君，只需贤兄开口即可。”
而杨素性情疏狂，高下在心，朝臣之内，颇推崇高颎，敬重牛弘，厚待薛道衡，自以为不如苏威。其余朝臣，多被其欺蔑。杨素之才艺风调，优于高颎；至于推诚体国，处事公平，有宰相识度方面，则远不如高颎。
从此，大隋王朝倒下了一根顶梁柱，而太子杨勇则失去了最有力的庇护人，废太子之事再度谣言四起。
【小剧场】
在审问王世积时，王世积被屈打成招，吐露出一些宫廷秘闻，还说是高颎泄露的。隋文帝听闻此事大惊。
隋文帝怒道：“就连朕和皇后那些芝麻绿豆般的小事，比如朕得了痔疮，皇后脚上生了鸡眼，高颎都能向别人八卦出去，还四处宣扬朕是‘妻管严’，朕能不生气吗？”