唐高宗在位时,由于与元老重臣有矛盾,又长期患病,软弱无能,因而大权逐渐旁落到聪明机智、具有政治野心的皇后武则天的手中。当时群臣并称高宗与武则天为“二圣”。乾封元年(666),唐高宗封禅于泰山,杨弘武从荆州司马提升为司戎少常伯,跟随高宗一起封禅。回来以后,又授为吏部五品官,迁西台侍郎,经常能晋见高宗。有一次,唐高宗责备他说:“你担任司戎少常伯时,授官大多不是量才而用,为什么?”杨弘武回答说:“我的妻子特别凶悍,这是她的嘱咐,我哪里敢违抗。”讽刺唐高宗对武则天言听计从。这下击中了唐高宗的要害,他笑了笑,也就不再追究杨弘武了。(《新唐书·杨弘武传》)