建武二十八年(公元52年),刘秀大会百官,询问谁可做太子太傅和少傅。群臣顺承皇上的意思,都说太子的舅舅执金吾、原鹿侯阴识可做。博士张佚很严肃地说:“现在皇上立太子是为阴氏呢?还是为天下呢?如果为阴氏,阴侯可做,如果为天下,就应该用天下的贤才。刘秀十分赞赏他敢于犯颜直谏,而且认为意见很好,于是说:“设太傅和少傅是为了辅佐太子,今天博士都不怕纠正我的过失,更何况对待太子呢?”于是拜张佚为太子太傅,博士桓荣做太子少傅,并赐予车马,以示显耀。