蒲州虞乡(今属山西省)人。隋末为景成县户曹,清廉仁义,颇得人心。窦建德攻陷景城,玄素被执将就戮,县民千余人请代其命,建德命释之,并任玄素为黄门侍郎。建德平,渊授素玄景城都督府录事参军。太宗即位,访以政事,玄素曰,隋亡原因在于国君自专,法纪紊乱,陛下应广任贤良,行尧舜之道。太宗以为然,擢素侍御史,迁给事中。贞观四年(630),诏修洛阳宫乾阳殿,以为行宫,玄素以汉高祖、隋炀帝为例,力谏不可。太宗叹其忠直,命立即停工。
        玄素为太子右庶子时,太子承乾耽于畋猎,不务学业。玄素上书太宗,以为太子游猎废学有失雅度,非太子所应为。太子不纳。贞观十三年,玄素又上书,切谏太子只有用心学习,才能知君臣之礼,长幼之道。太子仍不讷。太宗因玄素多有进谏,于贞观十四年进拜玄素银青光禄大夫。太子久不上朝,日夜惟于宫人淫乐,玄素又切谏太子劝其改行,太子恨玄素入骨,遣户奴夜间以马挝击玄素,玄素几至于死。太子日益堕落,玄素再次以古今圣贤语录及历来盛衰得失事例恳谏太子,太子不听,反遣刺客将加害玄素,后因太子承乾废,玄素得以保全性命。贞观十八年玄素授潮州刺史,转邓州刺史,龙朔三年(663)加授银青光禄大夫。麟德元年(664)卒。