汉灵帝光和末年（184年），黄巾之乱爆发。这年四月全面负责围剿颍川黄巾的皇甫嵩、朱儁部队，出师不利，连吃败仗，被围在长社（今河南长葛东北）。就在这时，曹操被封为骑都尉，奉命支援皇甫嵩、朱儁。曹操带兵和皇甫嵩、朱儁协同作战，内外夹击，大败颍川黄巾，这是曹操带兵取得的首次胜利。此后，曹操又多次参与了镇压黄巾军残部的战斗，最终因功得赏，被提拔为济南国的国相。济南国有十多个县，各县的长吏，大多阿谀趋附于朝廷贵戚，贪赃枉法，声名狼藉。曹操于是上奏朝廷，免去其中八个县的长吏；禁绝已往风行多年的立祠奉祀，杜绝假借题目进行奢侈淫乐；将祭祀房屋全部拆毁，淫祀的风气，从此被杜绝了。贪官污吏，都纷纷逃窜到附近的郡县。济南国界内，歪风邪气一时肃清。过了很久，曹操被征还为东郡太守。曹操不肯上任，称病辞职，归还乡里。
灵帝中平五年（188年）六月，冀州刺史王芬、南阳人许攸、沛国人周旌等人，联合豪杰士人，密谋废掉汉灵帝，立合肥侯为帝。他们把这次密谋告诉了曹操，想拉曹操入伙，但曹操认为那样不妥当，便拒绝参与。后来王芬等人因事情败露被迫自杀。
金城郡（今甘肃西部，青海东部）的边章、韩遂杀了刺史郡守而发动叛乱，拥兵众十余万人，使天下人为之震惊。朝廷于是征召曹操为典军校尉意图讨逆。这时汉灵帝驾崩，太子刘辩即位，是为少帝。何太后临朝听政。大将军何进和袁绍二人密谋除去宦官集团，太后认
为这样做不够周全，没有接受何进的计谋。何进于是召董卓进京，打算用董卓的力量胁迫太后。但是董卓还没有到达洛阳，何进就被宦官谋害了。董卓到了洛阳后，势力一家独大，便废了少帝，改立他为弘农王，而另立了陈留王刘协为皇帝，即汉献帝。董卓挟持汉献帝胡作非为，京城洛阳一片大乱。董卓上表举荐曹操为骁骑校尉，想要曹操为他出谋划策。曹操见情势不对，便改名换姓，偷偷潜出了京师，想先回自己的老家再做打算。董卓发现曹操逃走了，立即发布行文追捕曹操。曹操出了关，经过中牟县，被那里的亭长怀疑。亭长逮捕了曹操，带他去见
县令。县中有人认出他就是曹操，但也假作不认识，向县令说情，县令就把他给放了。董卓不久后杀了何太后和弘农王。曹操到了陈留，散尽了自己积聚的财产，积极招募义兵，谋划出兵除去董卓。汉灵帝中平六年（189年）冬十二月，曹操在己吾（今河南宁陵县）起兵，讨伐董卓。
汉献帝初平元年（190年）正月，后将军袁术、冀州牧韩馥、豫州刺史孔伷、兖州刺史刘岱、河内太守王匡、勃海太守袁绍、陈留太守张邈、东郡太守桥瑁、山阳太守袁遗、济北相鲍信，共同起兵讨伐董卓。每个人各有兵众数万人，他们共同推举勃海太守袁绍为盟主，曹操也被推举为奋武将军。
二月，董卓得知众太守起兵讨伐他，便胁迫汉献帝，迁都长安。董卓自己留驻洛阳，一把火烧毁了洛阳宫室。（此时，袁绍驻兵河内；张邈、刘岱、桥瑁、袁遗驻兵酸枣；袁术驻兵南阳；孔伷驻兵颍川；韩馥驻兵在邺城。董卓的兵力强大，袁绍等都不敢先领兵进攻。）曹操说：“我们兴义兵是为了诛除暴乱，兵众都已经聚集在一起了，各位还有什么可以迟疑的？以前如果董卓知道山东方面起兵，他可以倚恃王室以自重，据守二周的险要地方，向东可以平定天下。即使他是以无道而主政，也还是很难对付的。现在情况就不同了，他焚烧了洛阳的宫室，劫持了天子，迁城长安，四海之内的人民都为之震惊，不知如何是好，没有可以依附的力量。这正是上天灭亡董卓的时候，只需要一次战斗就可以平定天下，这样的机会不能失去！”于是曹操便向西进兵，想要据守成皋。张邈派将卫兹，分兵随曹操西进。曹兵到达荥阳汴水，遭遇董卓的部将徐荣，交战不利。曹操的兵士伤亡惨重，曹操本人也被乱箭射中，他所骑的马也受了伤。曹操的从弟曹洪，把自己所骑的马给曹操骑，曹操才得以乘着夜色逃脱。徐荣见曹操带领的兵士虽少，但能尽力作战，而且酸枣一带有大量驻军不易攻下，所以就带兵回去了。
曹操到达酸枣，看见盟军有十几万将士，却每天饮酒作乐，并不希图进取，曹操对他们很不满意，替他们出谋划策说：“各位，按照我的计划，现在我们应该由勃海太守袁绍，率领河内的兵力，到达孟津；酸枣有太守张邈、刺史刘岱、太守桥瑁、太守袁遗等的军队，可以守住成皋，占据敖仓，拿下轘辕、太谷，完全控制住各处险要之地。由袁术将军率领南阳之兵，攻下丹水、析州，进入武关（三地皆在河南省内乡县），这样就可以威胁三辅（指长安、冯翊、扶风，今陕西中部地区）。但各军都应作高垒深壁，不要贸然出战。应该多作疑兵，表明天下的形势，造成各地豪杰联合围攻董卓之势，以顺应天下之心，诛讨逆贼。这样行动，可以立刻奠定胜局。目前各军已经聚集在一起了，但是态度犹豫而不思前进，天下人对此很是失望！我私下里实在为各位感到羞耻！”曹操的分析很有道理，可以看出曹操对当时局势有很强的把握。可虽然曹操说了很多，而且分析也不无道理，但是张邈等人就是不肯采用曹操的计划。
曹操明显感到自己的兵力薄弱，于是和夏侯惇等到扬州去募兵。扬州刺史陈温、丹阳太守周昕拨出了兵众四千余人给曹操。但是大多数兵士不想远离家乡北上讨逆，因而行至龙亢县时，这些士兵乘着夜色突然发动兵变，放火焚烧了曹操的营帐。四千多人的部队最后只剩下了五百多人。曹操继续北上，到了铚、建平二地，又先后招募到兵士一千余人。曹操没有再回酸枣，而是带着三千人左右的部队，渡过黄河，投奔驻扎在怀县的袁绍，打算鼓动袁绍出兵讨伐董卓。但是袁绍不但无意与董卓对阵交锋，反而在初平二年（191年）和韩馥二人密谋立幽州牧刘虞为帝，曹操拒绝参与他们的计划。袁绍曾经得到一颗玉印，这颗玉印便是传说中的传国玉玺，上面有李斯刻的“受命于天，既寿永昌”八个字。他以为这是一种吉兆。有一次在曹操座中，袁绍举起玉印比向臀肘，表示他得到玉玺的幸运。曹操见袁绍如此浅薄，便嘲笑他愚昧而且器量小，十分厌恶袁绍，内心不服。
献帝初平二年（191年）春，袁绍、韩馥二人立幽州牧刘虞为帝。但刘虞认为自己的德行和能力不足，始终不敢接受帝号。
夏四月，董卓由洛阳回到长安。
秋七月，袁绍胁迫韩馥，取得冀州的地盘。