隋炀帝初年,汉王杨谅兴兵造反,派茹茹天保攻占蒲州(治今山西永济县西南蒲州镇),烧断河桥,又派王聃率数万人马并力拒守。杨素只带了五千轻骑兵,夜渡渭口,一举击走茹茹天保,击降王聃。然后隋炀帝委任杨素为并州道行军总管、河北安抚大使,出兵数万讨伐杨谅。当时的晋州、绛州、吕州都响应杨谅的号召,各自坚守城池,抗拒官兵。杨素不想为了攻下这三州而浪费时间,仅在每一州留下二千人马负责羁縻工作,就继续长驱直进。杨谅派赵子开率领十余万士卒据守高壁,欲阻断杨素的去路。杨素让诸将从正面佯攻,他自己亲率奇兵潜入霍山,翻过悬崖峭壁,穿越深沟峡谷,直接杀人赵子开的大本营。于是内外夹攻,杀死杀伤敌兵好几万人,大破赵子开的重兵防守。杨素奇兵发威,以少胜多,使杨谅委任的介州刺史梁修罗闻风丧胆,杨素兵马未到,就放弃介休城预先溜之大吉。杨谅亲自出马,与杨素大战于清源,又被击败,率众退保并州(治今山西太原)。杨素进兵重重围困,不久就逼迫杨谅自动投降,于是一场来势凶猛的叛乱就这样烟消云散了。(《隋书·杨素传》)