隋开皇(公元581—600年)后期,左仆射杨素、苏威在朝当权,李纲经常固执己见,不和他们相同,因此二人非常讨厌他。正遇上派大将军刘方去讨伐林邑(在今越南中南部),杨素向隋文帝说:“林邑国多出珍宝,不是正人君子不能委派。”因此说李纲可以胜任,文帝任命他为行军司马。刘方迎合杨素的意思,多次危害侮辱李纲,差一点被搞死。没有多久,苏威又派李纲到南海(今广东广州),照应林邑,很久不召他回京。后来李纲自己到京来奏事,苏威又说李纲擅离职守,把他交给有关官吏处理,正好遇到赦免,于是隐居在鄠县(今陕西户县)。