曹操平定袁术、袁绍，任高柔为菅县县长。县中早听说过高柔的名声，几个奸猾的县吏，都自动引退而去。高柔教诫县吏们说：“过去邴吉治政，对曾经犯过错误的县吏，尚且能够容忍。何况这些县吏，对我没有什么过失!还是把他们叫回来吧!”于是那些离走的县吏都回来了，经常勉励自己，后来都成为好的官吏。高干投降曹操以后，不久又在并州叛乱，高柔自己归附曹操，曹操想借故杀了他，就任他为刺奸令史。但高柔依法办事，处事公正，案件从不停留积压，于是曹操任他为丞相府仓曹的属官。曹操想派遣钟繇等人讨伐张鲁，高柔规劝，认为当今频繁地调遣军队，西边的韩遂、马超，会误认为是攻打他们，这将会互相煽动而叛乱，应当招抚三辅地区，三辅地区如果平安，汉中地区发布檄文即可平定。钟繇带兵进入函谷关，韩遂、马超等人果然反叛。