《论语》十八章，隐士接舆、长沮、桀溺不理解孔子的做为，於是开骂。夫子怃然叹道：“鸟兽不可与同群。吾非斯人之徒而谁与？天下有道，丘不与易也。”
对“鸟兽不可与同群”一句，诸家见解不同，最不堪的是认为孔子骂隐士们是“鸟兽”。但诸家多认为，孔子不甘心去当一个洁身自好的隐士，却是明知不可为而为之地想干一番事业。朱子说：“言所当与同群者，斯人而已，岂可绝人逃世以为洁哉？天下若已平治，则我无用变易之。正为天下无道，故欲以道易之耳。”
诸家诸说，台湾南怀瑾的解说却是最好。“实际上孔子的思想，对隐士非常崇敬。什么叫‘鸟兽不可与同群’？鸟类是高飞的，它要高飞就高飞去吧！野兽是生活在山林里的，自然就在山林过他们的生活。这些高人，该飞的飞走了，该住山的跑了。而我们呢，既不能高飞，也不想入林，还是规规矩矩在人间做个人吧！这是孔子捧隐士的话。”《通鉴》上说：“圣贤居身之所珍也，诚欲枕山栖谷，拟迹巢由，斯则可矣。若当辅政济民，今其时也。”司马光的观点也很开明。
东汉顺帝时，壶山有隐士樊英，“少有学行，名著海内”，朝廷屡征不至，後来听从朋友的劝，出山应征，却又不见什么好的图国之道，司马光因而分天下隐士为三类：
其一：“隐非君子之所欲也，人莫己知，而道不得行，群邪共处，而害将及身，故深藏以避之。”此类人物，南怀瑾先生给予极高的评价，认为替王道政治保留了元气，其意志坚韧不拔，被褐怀玉，深藏不市，易书称为潜龙。一旦时机来临，他们也要入世，“王者尽礼而致之，屈己以访之，克己以从之。”周文王之於太公是也。或者“扣阍自售”，毛遂自荐，东汉的邓禹杖策追刘秀是也。司马光也赞赏真隐士的第三个出处，他们高卧幕後，派个把学生也能拿捏得了天下苍生。战国时的鬼谷子，出名的几个学生苏秦、张仪、庞涓、孙膑。汉初的黄石公，往桥下扔鞋让张良去捡，然後给了他一本流传後世的《素书》。
其二：“利不苟取，仕不苟进，洁己安分”的清修之士。王莽时，琅琊薛方“以明经饬行，显名於世”，一天家门口就来了车队，要迎他出山。薛方对来人说：“尧舜在上，下有巢由，今明主方隆唐虞之德，小臣欲守箕山之节。”措词得当，王莽也没难为他。
其三：则是“饰伪以邀誉、钓奇以惊俗”的诂名之辈，借隐逸作幌子，走的是南山路线，飞来飞去不离宰相家，处级厅级不合味口，眼角一扫就要省部、副国家级，实则徒有空架子而已。司马光愤愤地说，这类人该杀。