荀谌听了说道：“兄长，有道是好女不嫁二夫，忠臣不择二主，袁绍其人虽有微疵，然瑕不掩玉，前途大有可为，如果你是因为此次主公没有随曹操追击董卓而怪罪于他，大可不必，难道以兄长之才还看不出这里面的得失吗？”荀彧说道：“袁本初的意思我明白的很，如今他是诸侯之盟主，大权在握，如果灭了董卓那他主个盟主就没什么意义了，所以他不想真的要灭掉董卓，正是因为如此，我才要舍其而去，他这是因一已之私利而置大义于不顾，此君子所不为也！既然你一心追随他，那我只有自己走了！”
百般劝说不果，荀彧下定决心要走，荀谌叹了口气说道：“走吧，去投曹公也好，南阳许邵评其为治世之能臣，乱世之奸雄，兄长去投大有可为！”对于荀谌能看透自己的想法荀彧并不奇怪，虽然自己这个兄弟平时不言不语的，可是真才实学比自己有过之而无不及，这也是荀彧想拉着他一起走的原因，哥俩个意见相左，荀彧飘然而去。
曹操收拾东西准备和袁绍分家单干，可是去哪儿呢？想了半天也拿不定主意，正犯愁呢，中军来报，荀彧荀文若求见，曹操急忙亲自出迎，把荀彧接进来，荀彧开门见山的直说：“彧见袁本初无勇无谋，难成大事，故弃暗来投，忘明公收录！”曹操一听大喜如狂：“操得文若相助，如虎生双翼，何愁汉室不兴天下不平啊！”荀彧跪倒磕头，曹操用手相搀，立刻任命荀彧为自己的行军司马。
接着曹操就把自己现在不知该去哪里对荀彧说了，问荀彧自己该怎办？荀彧说道：“主公，东郡太守乔瑁与主公交厚，且东郡民丰物富，可以息身，又与济北相鲍信相呼应，以为臂助，主公可以借东郡暂住，招贤纳士，奋武强兵，徐图后进。”曹操听了连连点头，于是派人去请乔瑁，和乔瑁一说乔瑁凯然应允，东郡黄巾贼闹的厉害，他正头疼呢，一听曹操要去心中大喜。