隋大业十三年(公元617年),高祖起兵前夕,柴绍从长安(今陕西西安)走小路往太原(今山西太原)去,这时李建成、李元吉从河东(今山西永济蒲州镇)也往太原去,在路上相遇。建成对柴绍说:“催我们回去的信写得非常急,恐怕已经起兵。这沿路1000多里恐怕官吏抓我们,必定不能保全。不如暂时投靠小股盗贼,以求保全。”柴绍说:“不行。催信既然很急,应该速去,虽然比较辛苦,终能保全。如果投靠小股盗贼,知道您是唐公儿子,一定抓起来当作功劳,只能白白送死。”建成听从柴绍意见,于是一起往太原去,走入雀鼠谷(今山西介休、灵石、霍县之间),知道已经起义兵,于是互相祝贺,认为柴绍有谋略。