隋大业十二年(公元616年),炀帝杨广因担心农民起义和割据官吏的迅猛发展之势,逃往江都。到江都后,杨广荒淫益甚,见中原已乱,无心北归,欲保据江东。但从驾的骁果之人多关中人,见杨广无西还之意,纷纷逃散。杨广十分忧惧,问裴矩安定从驾者之策。裴矩献计道:“皇上留此已两年,从驾者没有家室,没婚配,这样,则难以安心久留。如能让士兵于此娶妻纳室,便可稳定人心。”杨广大悦,认为此计甚妙,遂令裴矩全权负责为将士娶妻之事。裴矩受命后,悉召江都境内所有的寡妇及未嫁女子,集合于宫中,又召来将帅士兵任其择取婚配。由此,从驾者十分高兴,稍稍安心,都称是“裴公的恩惠”。