张九龄以文学得官，守正持重，一向鄙视以谄佞得宠、素无学术的李林甫。李林甫对 此十分嫉恨。李林甫曾引荐萧炅为户部侍郎。萧炅一向不学无术，一次在给中书侍郎严挺 之念文章时，将人人皆知的“伏腊”读为“伏猎”，使人瞠目。“伏腊”，是古代人对夏天的 伏日、冬天的腊日两个节日的合称。一个堂堂户部侍郎竟犯这种常识性错误，实令人啼笑 皆非。于是严挺之不无讽刺地对张九龄说：“省中岂容有‘伏猎侍郎’! ”张九龄知道后，立 刻将萧炅出为地方官，因此李林甫十分没面子，十分怨恨张九龄，想借机陷害他。

位于韶关市郊外保存至今的 张九龄墓

开元二十四年，朔方节度使牛仙客因有治绩，玄宗欲为之加官尚书;张九龄不同意，说： “不可。尚书，古之纳言，唐兴以来，唯旧相及扬历中外 有德望者乃为之。仙客本河湟使典，今骤居清要，恐羞 朝廷。”玄宗又要给牛仙客以实封，张九龄还是不同意， 说：“不可，封爵所以劝有功也。边将实仓库，修器械，乃 常务耳。不足为功。陛下赏其勤，赐之金帛可也;裂土封 之，恐非其宜。”玄宗听后默然不语，有不悦之色。李林 甫窥视皇上脸色，便阿其所好，对皇帝说：“仙客，宰相 才也，何有于尚书! 九龄书生，不达大礼。”听过这番话， 玄宗的脸上才泛出笑容。次日，玄宗又提起给牛仙客实 封之事，刚正的张九龄仍坚持如初，极力陈论。玄宗勃 然大怒，叫道：“事皆由卿邪?”张九龄顿首谢罪道：“陛 下不知臣愚，使待罪宰相，事有未允，臣不敢不尽言。”玄宗又问：“卿嫌仙客寒微，如卿有 何阀阅?”张九龄从容答道：“臣峙海孤贱，不如仙客生于中华。然臣出入台阁，典司诰命 有年矣。仙客边隅小吏，目不知书，若大任之，恐不惬众望。”退朝后，李林甫又扬言道： “苟有才识，何必辞学!天子用人，有何不可! ”于是唐玄宗认为张九龄太专横，他再也容 不得这种骨鲠之臣聒噪盈耳的哓哓之言了，便罢其宰相职，而专任李林甫。