曹操在下邳打败吕布，张辽率军投降，被任命为中郎将，赐以关内侯爵位。由于屡立战功，升为裨将军。袁绍失败后，曹操派张辽另率军平定鲁国诸县。又同夏侯渊在东海围攻昌豨，几个月后粮草已尽，大家议论要率军返回，张辽对夏侯渊说：“几天来，我每次走到营垒前，昌豨就注视着我。另外他们射箭越来越少，这必然是昌豨犹豫不决，所以不全力作战。我想用言语挑动他，或许可以诱使他归降。”于是就派使者告诉昌豨：“曹操有令，派张辽传达给您。”昌豨果然下来同张辽交谈。张辽劝说他：“曹操神明英武，正用德行安抚四方，先归附的人必将受到大奖赏。”昌豨就答应投降。张辽于是独自上三公山，来到昌豨家中，拜会他的妻子和儿子。昌豨欣喜异常，随张辽去见曹操。曹操让昌豨返回，责备张辽说： “这并非大将应采用的方法。”张辽致歉说：“因为您的威信著称于四海，我张辽说奉您的旨意，昌豨必然不敢加害我。”