有一次隋炀帝邀请重臣杨素一起钓鱼，并打赌二人同钓，先得者为胜，迟得者罚一杯酒。

过不多时，隋炀帝接连钓了两条鱼，并向杨素炫耀。杨素这个人向来是争强好胜，这时候脸色有点不好，微有怒色，便说道：“燕雀安知鸿鹄之志，待老臣施展钓鳌之手，钓一个金色鲤鱼，，为陛下称万年之觞如何？”隋炀帝见杨素说如此大话，一点君臣礼貌都没有，心有不满，借口上厕所，起身回了后宫，满脸怒气。

隋炀帝的皇后萧氏问他为何生气，炀帝说：“杨素这老贼，骄傲无礼，在朕的面前非常放肆，朕想找几个宫人杀了他，方泄我心中之恨。”萧皇后阻止道："杨素是先朝老臣，，而且对于陛下有功，现在无故杀了，，其他人肯定不服。况且他又是一个猛将，几个宫人怎么杀得了他，而且杨素又有兵权，一旦刺杀失败肯定会有后患的。”隋炀帝觉得萧皇后说的有道理，就回到了杨素身边。

这时，隋炀帝看到杨素坐在杨柳之下，，风神俊秀，相貌魁梧，几缕如银白须，趁着微风，两边飘起，，恍然有帝王气象。隋炀帝看了有些妒忌，恰巧杨素这时钓上了几条金色鲤鱼，向隋炀帝炫耀道：“有志者事竟成，陛下您觉得老臣怎么样？"隋炀帝勉强笑了笑，这时候他已经开始忌惮杨素了。

史书上记载，开皇四年，杨素官拜御史大夫。因为他的妻子性格强悍，杨素生气狂言说我要是天子，肯定不会让你当皇后。结果被妻子告发了此时，当时的隋文帝杨坚投鼠忌器，杨素仅仅被免官，不久又因功东山再起。隋炀帝不比他父亲，没那么大胸怀，忌惮杨素是很显然的事情了。