唐并州晋阳(今山西太原市)人。其祖唐邕官北齐尚书左仆射,父鉴官隋戎州刺史。鉴与李渊友善,故俭与渊子世民早有交往。俭爽快豪迈,少约束,然事亲至孝。见隋政衰乱,暗中劝世民早图帝王大计。李渊召访之,俭劝渊外聚豪杰,北招戎狄,东收燕赵、南据秦雍,如此,则商汤周武之业可成。俭随渊起事,任大将军府记室参军,渭北道元帅司马等职。渊定京师,俭为相国府室,晋昌郡公。武德初年(618),俭授内史舍人,随即迁中书侍郎、散骑常侍。
        吕崇茂反,且与刘武周联合,诏令永安王孝基,独孤怀恩、于筠率兵讨伐。俭以特使至军中,与孝基等俱为武周所虏。敌营中,俭以元君实那里得知独孤怀恩当时镇守蒲州时曾欲谋反。不久独孤从刘武周处逃脱,李渊令其仍守蒲州。俭恐独孤作乱,密遣刘世让向李渊告发此事。渊大惊,捕独孤,独孤自杀。刘武周兵败,逃往突厥。渊嘉俭被俘不屈,复其旧官,返京后授俭礼部尚书、天策府长史、检校黄门侍郎、莒国公。
        贞观初,俭出使突厥,返唐后与世民密谋,智败突厥颉利。一年多后,俭为民部尚书,随太宗猎于洛阳,群豕突出,帝射死四豕,一豕跃扑帝及马镫,俭策马与豕搏,帝遂剑断豕首。俭谏帝曰:汉高祖以马上得天下,不以马上治之,陛下神武定四方,怎能以猎杀一兽为快呢?太宗从此罢猎,并命俭子善识娶豫章公主。俭从此纵酒为乐,居官不干事。显庆初卒,赠开府仪同三司、并州都督,谥曰“襄”,陪葬昭陵,图形于凌烟阁。