荀彧少年时，南阳人何颙觉得他与众不同，说：“这孩子长大后是辅佐帝王的贤才啊。”永汉元年(公元89年)荀彧被推举为孝廉，任命为守宫令。董卓做乱时他请求出任地方官。被任命为亢父县令，于是弃官回家，对父老乡亲说：“颍川，是四面受敌的险地，一旦天下变乱，常常为兵家要冲，应当赶紧离开，不能久留。”乡里人大都怀恋故土，迟疑不决，恰遇冀州牧同郡人韩馥派遣骑兵来邀请他，但没有人愿跟随荀彧走，荀彧就带领本宗族人迁到冀州。而这时袁绍已夺了韩馥的官位，袁绍用对待上宾的礼节接待荀彧。荀彧的弟弟荀谌及同郡人辛评、郭图，都被袁绍任用。荀彧料定袁绍终成不了大事，而当时曹操担任奋武将军，在东郡创业。初平二年(公元191年)，荀彧离开袁绍跟随曹操，曹操高兴万分，说：“您是我的张子房啊。”任命荀彧为司马，当时年仅二十九岁。此时董卓威逼天下，曹操为此询问荀彧，荀彧说：“董卓过于残暴，一定会乱亡而告终，是不可能有所作为的。”董卓派李傕等人出兵关东，所到之处大肆掠夺，到达颖川、陈留才返回。颍川留下的乡人很多被杀害抢掠。第二年，曹操兼任兖州牧，后来又被封为镇东将军，荀彧常常以司马的身份随从曹操。