隋仁寿四年(公元604年),隋文帝杨坚死后,杨广即皇帝位,矫文帝诏缢杀了胞兄杨勇。汉王杨谅知宫中内情后,于并州发兵举事,征讨杨广。杨谅的大将乔钟葵围困了代州总管李景,形势告急。杨广遂征诏杨义臣发兵救助李景。乔钟葵的军兵势众勇武,杨义臣军兵每每于陈前战败而归,车骑将军杨思恩也战死。杨义臣自思兵少势弱,遂尽取军中用于运输的牛驴数千头,命令数百人,手持一鼓,全部埋伏于山谷中。等两军交战时,杨义臣命令驱赶牛驴,快速前进,再令持鼓者奋力击鼓,一时尘埃四起,布满天空,鼓声大作,乔钟葵军兵不知,以为中了官兵埋伏,因而纷纷溃败,自相践踏,死伤无数。杨义臣再命所有军兵奋勇冲杀,结果大破乔钟葵军。因有功,杨义臣被任为上大将军。不久又被授为相州刺史。