杜楚客少年时跟随叔父杜淹沦陷在王世充部下。杜淹一贯和杜如晦兄弟不和睦,在王行满那里诬告如晦的兄长,王世充杀了他,并囚禁楚客,差一点饿死,楚客竟然毫无怨色。唐武德四年(公元621年),洛阳平定,杜淹当死,楚客哭着请如晦救杜淹。如晦开始不肯,楚客说:“叔父已杀了大哥,今天哥又怀恨抛弃叔父,一门之内,相杀而尽,难道不痛心吗?”因而准备自杀。如晦感动,向秦王李世民请求赦免,杜淹才得到宽宥。