桓阶字伯绪，长沙郡临湘县人。担任郡功曹。太守孙坚荐举桓阶为孝廉，任命为尚书郎，由于父亲去世回乡奔丧。恰好碰上孙坚进击刘表时战死。桓阶冒着风险到刘表处请求要孙坚的尸体。刘表被他的义气感动，就将孙坚的尸体给了他。后来曹操与袁绍军队在官渡对峙，刘表率领整个荆州声援袁绍。桓阶劝长沙太守张羡说：“办事不以道义为本，没有不失败的。所以齐桓公率领诸侯尊奉周王室，晋文公驱逐叔带而送周王返回王城。现在袁绍背道而驰，而刘表声援他，这是自取祸患的举动。您如果想建立功勋、申明正义，保全幸福，远离祸难，就不能与他们联合。”张羡说：“那么我倾向谁才好?”恒阶说：“曹操势力虽弱，但他是靠正义起兵，解救朝廷的危难，奉皇上之命讨伐有罪之臣，谁敢不服从?现在您如果率领长沙、武陵、零陵、桂阳四郡，依仗三江等待曹操到来，做他的内应，不是很好吗?”张羡说：“好。”于是率长沙以及邻近的武陵等三郡抗拒刘表，派遣使者去谒见曹操。曹操很兴奋。此时正值袁绍与曹操军队接连发生战斗，军队不能南进。而刘表加紧进攻张羡，张羡病死。临湘城陷落，桓阶便自己躲了起来。过了很长时间，刘表征召桓阶为从事祭酒，打算把妻妹蔡氏嫁给他。桓阶说自己已经结婚，拒绝不受，并以自己有病为由辞退回家了。

曹操平定荆州后，听说桓阶曾为张羡出谋划策，认为他非同一般，聘他担任丞相掾主簿，又升任赵郡太守。魏国刚建立时，担任虎贲中郎将侍中。当时太子尚未确定，而临菑侯曹植十分受宠。桓阶多次向曹操说曹丕品德优良，年龄也大些，应该立为太子。他或当众规劝，或私下进谏，前前后后的态度都非常恳切。又毛玠、徐奕由于刚烈正直，少有党羽，西曹掾丁仪很不喜欢，丁仪屡次揭他们的短，全赖桓阶帮助得以保全。他大多如此地扶持善良、匡正他人过失。桓阶又升任尚书，负责选举。曹仁被关羽围困，曹操派徐晃前去救援，未能解围。曹操准备亲自南征，征求诸将领的意见。众人都说： “大王如不快去，我军就会失败了。”唯独桓阶说：“大王认为曹仁等人能够认清形势吗?”曹操说： “能。”“大王担心他们二人不肯尽力吗?”曹操说：“不担心。”“那么为什么要亲自前往呢?”曹操说：“我只是担忧敌兵多，徐晃等人处境不利罢了。”桓阶说： “现在曹仁等人处在重围中而坚守阵地、毫无二心，确实是因大王远远地形成声援呼应的形势。处在死亡之地，定会有拼搏抗争的决心;内有拼死搏斗之心，外有强大的救兵，再加上大王稳定朝廷军队以显示出雄厚的实力，何必担心他们失败而要亲自前往?”曹操认为他说得在理，便率领军队驻扎在摩陂，敌人果然撤退而去。