自先秦以来，中国历代有见识的政治家、思想家，无不提供任人惟贤，但要切实做到这一点，却并不那么容易。元朝以蒙古人人主中国，极力压制汉族人，在用人方面，只论出身，不论才能，完全抛弃了任人惟贤的原则。权衡在《庚申外史》中曾评论说：“元朝之法，取士用人，惟论根脚（即出身、家世）。当时能参与国家大政、担任宰相的，都是根脚人；担任各级监察部门首脑的，都是根脚人；担任各级衙门长官的，也都是根脚人。”对于元朝的做法，朱元璋十分反感，他曾对御史台官员说：“元朝时任用官员，只重用本族人，而轻视汉族人，甚至规定南人不得担任监察官员，这怎么能算公道！朕任用官员，惟才是举，不管他是南人，还是北人。”
朱元璋多次申明：“国家用人，惟才是举。如果是贤能之人，虽疏远也要加以任用；如果是不肖之人，虽亲近也要加以摒弃。”在这一指导思想下，朱元璋起用了大批有才能的故元官吏以及长期与他对立的陈友谅、张士城、方国珍、陈支定等人的部属。朱元璋的老部下们见有些人刚刚归附，就位居自己之上，心中大是不服。朱元璋了解到他们的这种情绪，特意召见武臣，对他们说：“你们从一开始就跟随着我，攻城略地，功劳很多。近来新归附的人，有的受到提升，地位在你们之上，你们反居其下，这并不是我要弃旧取新。现在天下一家，用人之道，自当大公无私。他们有智谋才略，能够建功立业，所以才位居你们之上。只有具备杰出的才能，出众的智慧，才能得到超人的爵赏。你们如果能多和儒士们接近，开阔眼界，增长智慧，努力去建立功勋，还怕得不到显贵的爵位吗？”朱元璋还赏赐绣衣给这些武臣，以示慰勉。
明初官员缺乏，朱元璋还四方搜罗人才，对于得到的人才，都予以大胆使用，特别是因某种原因受到他重视和信任的人，更往往得到破格提升。当时，由一介书生或低级官员而骤升为高级官员者，不乏其人。如洪武十一年（1378年），朱元璋将西安知府李焕文、宝抄提拔为郎中、知府、知州等官，不久又将费震提升为户部尚书。朱元璋曾提示户部说：“资格是为普通人设立的，如果确有才能，当然应该破格任用。”有人对不拘资格的用人政策提出异议，认为儒士们刚从乡里出来，一下子就成为大官，这样会显得朝廷不爱惜名爵。朱元璋说：“朝廷设立爵禄就是用以待士的，他们才能卓越，怎么能用资格加以局限呢？朝廷只希望得到贤才，绝不吝惜名爵。如果说来自乡里，不应当骤然任用，那么当年伊尹在莘野，诸葛亮在隆中，一旦出仕，地位就处在其他官员之上，终于建功立业，商汤、刘备在任用他们的时候，何尝拘泥于资历！朕担心的是得不到贤才，如果得到贤才，任用时绝不考虑资格。”
在明代笔记中，记载着一些朱元璋识才、用才的趣事。
有一天，朱元璋微服私访，走进了一家小酒馆，遇到一位国子生。当时座位已满，朱元璋见一个供奉土地神的桌子旁边有两把椅子，便把土地神移到地上，与国子生对面而坐。谈论间，知道这位国子生是四川重庆人，便口出一联：“千里为重，重山重水重庆府。”国子生应声对曰：“一人成大，大邦大国大明君。”朱元璋见他才思敏捷，十分高兴，又指着神龛下的小木让他赋诗，国子生略加沉思，即吟诵道：“寸木原从斧削成，每于低处立功名。他时若得台端用，要向人间治不平。”朱元璋觉得此人胸怀大志，更加喜欢。第二天，朱元璋宣召那位国子生入朝陛见，国子生见昨天与自己对饮的竟是大明天子，连忙叩头谢罪。朱元璋说：“你不是想登台端吗？今天就遂了你的心愿。只是你要真个为人间治不平才好。”当即任命这位国子生为按察使。
中国古人曾反复述说，一个人有其长处，也必有其短处，对人才绝不可求全责备。如《吕氏春秋·用众》指出：
“物固莫不有长，莫不有短，人亦然。”《论衡·书解篇》也说：“人有所优，固有所劣；人有所工，固有所拙。”对于这些论述，朱元璋深契于心，并作为自己选才用人的准则。他曾阐述说：“人之才智，或有长于彼而短于此者，若因其短而摒弃其长，则天下之才难矣。”朱元璋继承和发展了先秦以来的用人思想，把德才兼备列为理想标准，但这样的人才毕竟较少，如果退而求其次，朱元璋明确提出以德为首。他品评说：“才德俱优者，上也：才不及德者，其次也；才有余而德不足，又其次也；苟两者俱无，此不足论矣。”朱元璋认为，用人的关键，是“因才而授职”，即根据人才的不同特点，把每个人都放到合适的位置上，倘若用非所长，“则人才不得尽其用，而朝廷有乏人之患矣”。朱元璋反复告诫大臣们说：“人的才能很少有全备的。宽厚慈祥的人，可以让他去治理民众，勤敏通达的人，可以让他去办理事务，只有量能授官，才会做出成绩。”又说：“人的才能各有长短，就像工匠各有专门技能一样。善于制造木器的不会制造石器，善于制造车轮的不会制造舟船。如果在用人的时候，量能授官，就没有不能使用的人才了。你们都是朕的股肱耳目，应当为朕广泛访求贤才，以供任用，不要求全责备于一人。”朱元璋还诏令天下，在访求人才时，“凡有一善可称、一才可录者，皆具实以闻，朕将随其才而擢用之”。
在坚持“惟才是与”的同时，朱元璋还提出另一项用人方针，这就是“宥过而用”。在朱元璋看来，金无足赤，人无完人，“如果因为有一件事情上的失误就舍弃一人，则天下就没有全人了”。他反复告诫吏部官员：“治理国家，以任用贤才为本。对于作奸犯科的人，不能因为有小才就宽恕他；如果真是贤能的人，不要因为有小疵就舍弃他。奸者必惩，庶不废法；宥过而用，则无弃人。”
他宣布那些因犯小过而被罢黜的人，都可以重新录用，给他们一个改过自新的机会。洪武二十五年（1392年），安庆知府周昌上书说：“士人有因小过被罢黜者，其才能足堪任用，而按照现有条例，不能再举荐他们。请求皇帝特赐宽宥，允许有关部门荐举他们。”吏部大臣表示反对，认为有罪复用，无以示惩。朱元璋说：“好的工匠，不会因为有一点瑕疵，就放弃一块美玉。朝廷用人，必须赦免小过。改过迁善，圣人都曾加以赞扬。录长弃短，是君主应尽的职责。”
他还特地颁布敕令：“凡士人因小过罢黜及迁谪远方者，知其才能果优，并听举用。”
在洪武年间，确有许多被罢官甚至判罪服役的官员，重新得到启用。当然也应指出，朱元璋虽提出了“宥过而用”的原则，但他实行得不够好。由于他对官员的不法行为非常痛恨，常大开杀戒以示警惩，不少官员仅因小过就丢了性命，以致茹太素在一份奏疏中指出：“才能之土，数年来幸存者百无一二！”