唐武德元年(公元618年),李纲在东宫,看到太子李建成后来渐渐亲近无赖之徒,并有猜疑陷害世民的计谋,屡次劝谏但都不听,于是请求退休,高祖就骂他:“你做潘仁的长史,为什么耻于做我的尚书? 况且建成在东宫,派你去辅佐教导,为什么屡次要告辞?”李纲头叩地而谢罪说:“潘仁是贼,志在杀人,但我每次劝谏就停止,所活的极多,做他的长史,所以能无愧。陛下事业成功,常常自夸,臣的话像水里投石,怎么敢长久地做尚书呢?再说臣事奉东宫,所提的鄙陋意见,又不采纳,既然不能增加好处,所以请求退休。”高祖谢罪说:“知道您是耿直之士,希望辅佐我的儿子。”于是加封为太子少保,尚书、詹事等职同原来一样。