刘基深知在淮西集团当权的情势下，他孤掌难鸣，很难在朝廷站稳脚跟，坚决辞谢。并且说了一段意味深长的话：房屋如果要调换顶梁柱，必须寻找大树，假如用一束小树来当顶梁柱，房屋肯定倒塌。
朱元璋又问：杨宪如何？
刘基并不因为和杨宪有私交而放弃原则，如实回答：杨宪有丞相的才干，没有丞相的气度，丞相必须保持水一般平衡的心态，用义理来权衡一切，而不感情用事。这一点，杨宪做不到。
朱元璋又问：汪广洋如何？
刘基说：此人过于偏浅，还不如杨宪。
朱元璋又问：胡惟庸如何？
刘基不屑一顾，用比喻的口气给予否定：这就好比一头小牛犊要让他去驾车或耕田，我担心会坏事，不是翻车就是破犁。
朱元璋提出的候选人都被一一否定，再次重申：我的丞相人选，诚然没有一个超过先生的。言下之意是敦请刘基出任此职。
刘基已经推辞过一次，见皇上再次提起，立即用坚决而又委婉的语气推辞，说明自身的弱点：臣疾恶太甚，口无遮拦，一向闲散惯了，无法应对繁杂的行政事务，在这个位子上，恐怕辜负皇上的重托。天下之大，哪里会找不到人才呢？请明主悉心搜求。不过刚才提到的几个人，确实并不合适。
这场君臣之间的对话，值得细细玩味。对于朱元璋而言，已经感受到以李善长为首的淮西集团对皇权的潜在威胁，希望“浙东四先生”之一的刘基取代李善长，起到平衡和制约的作用。而对于刘基而言，则逐渐领悟到共同打天下易，共同坐天下难，再度萌生去意，仿效汉初的张良，功成名就，急流勇退。因此一再婉言拒绝朱元璋的敦请，不想卷进权力争夺，以免招来杀身之祸。
被刘基否定的那三个人，是朱元璋心目中的人才，先后受到重用，也先后被朱元璋处死。杨宪，洪武三年（1370）被处死；汪广洋，洪武十二年被处死；胡惟庸，洪武十三年被处死。难道刘基受到重用后，会是例外？
洪武四年正月，左丞相、韩国公李善长致仕。三月，宏文馆学士、诚意伯刘基致仕。这两个人的离开政坛，对于朝廷而言是很大的损失是毋庸置疑的。早先在朱元璋心目中，一个是“萧何”，一个是“张良”，现在大局已定，难道就不需要像“萧何”、“张良”那样一言九鼎、力挽狂澜的大臣了吗？
他们致仕的情况却各不相同。按照《明史》说法，李善长“外宽和内多忮刻”，大权在握之后，“意稍骄”，皇帝对他感到厌恶。表面上是李善长以身体有病为由请求辞职，实际上是被罢官的。刘基则不同，他看到李善长离去，取而代之的是汪广洋、胡惟庸，感到“不安于其位”，主动请辞。朱元璋还写信去向他请求临别赠言，刘基在回信中特别强调：“霜雪之后，必有阳春，今国威已立，宜少济以宽大。”这是针对朱元璋“用法严峻”而言的，可惜没有被接受，史书对此有这样的感叹：“而卒不能止太祖晚年之诛戮。”不过朱元璋很有礼貌地送了一首诗给他，题目是《赠刘伯温》：
妙策良才建朕都，亡吴灭汉显英谟。
不居凤阁调金鼎，却入云山炼玉炉。
事业堪同商四老，功劳卑贱管夷吾。
先生此去归何处？朝入青山暮泛湖。
刘基真的能够“朝入青山暮泛湖”吗？
晚明文坛盟主钱谦益从刘基的诗歌中读出了言外之意，窥探出他一生三个阶段的不同心态：第一阶段是元朝末年，他以“命世之才”自负，却“沉沦下僚，筹策龃龉”，所写的诗歌“哀时愤世”，流露出“几欲草野自屏”的心境。第二阶段是被召入朱元璋幕府以后，“艰危共事，遇知己，效驰驱”，所写的诗歌，“魁垒顿挫，使读者偾张兴起，如欲奋臂出其间者”。第三阶段是明朝建立以后，辅佐皇帝，运筹帷幄，“列爵五等，蔚为宗臣”，可谓“得志大行”了，所写诗歌却是“悲穷叹老，咨嗟幽忧”，当年的飞扬意气荡然无存。钱谦益所说的“悲穷叹老，咨嗟幽忧”，反映的正是刘基急流勇退前后的心境，许多不能说的话都由诗歌表露出来了。
此时的刘基虽然“悲穷叹老”，却难掩疾恶如仇的本性，怕招来祸水，索性隐居山中，与外界隔绝，每天以饮酒下棋为乐。青田知县求见不得，化装成农夫再次前来，刘基正在洗脚，命小儿子把他带进茅舍，粗茶淡饭招待。来人告诉他，自己是青田知县，刘基赶紧起身，连称草民，拜谢而去，从此不复再见。
然而远离政治漩涡，仍不免于祸。孟森以史家独有的深邃目光洞察到这一点：“诚意（刘基）之归隐韬迹，非饰为名高也，亦非矫情也，盖惧祸耳。”功成名就以后仍保持忧危心态，这一点与张良相似，但是张良的急流勇退是成功的——得以善终，而刘基“犹且不尽免祸”。孟森读史至此，感慨不已。
归隐是为了避祸，却不免于祸，是一个悲剧。制造悲剧的关键人物恰恰是刘基不屑一顾的胡惟庸。这时，他已经在中书省掌管实权，不知通过什么途径，获悉刘基在皇帝面前说他无能，怀恨在心，指使他的亲信诬陷刘基，说什么刘基会看风水，在一块有“王气”的土地上为自己建造坟墓，心怀叵测。这一招果然奏效，激起朱元璋的猜忌，下旨剥夺俸禄。刘基惧怕带来大祸，立即赴京请罪，并且留在南京，显示自己的清白。
不久，胡惟庸升任中书省左丞相。刘基悲戚至极，感叹道：希望我先前的“劣马驾车”预言不灵验，天下苍生有福了。如此忧心忡忡度日，终于病倒了。洪武八年，朱元璋派人把他护送回乡，不久就病死了。
四年后，刘基的同僚、御史中丞涂节揭发，刘基是被胡惟庸毒死的。刘基在南京病重时，胡惟庸派来医生诊治，服了医生的药后，病情恶化——“有物积腹中如拳石”，显然是中毒了。这一情节在《明太祖实录》中有记载：
御史中丞涂节言：前诚意伯刘基遇毒死，（汪）广洋宜知状。上（指朱元璋）问广洋，广洋对以“无是事”。上颇闻（刘）基方病时，丞相胡惟庸挟医往候，因饮以毒药。乃责广洋欺罔，不能效忠为国，坐视兴废。
胡惟庸毒死刘基，在《明史》中有多处提到，可谓确证。刘基的长子刘琏，很有才华，洪武十年受胡惟庸亲信胁迫，堕井而死，则是一个旁证。黄纪委撰写的《诚意伯刘公行状》写得更为具体：
洪武八年正月，胡丞相惟庸以医来视疾，饮其药二服，有物积腹中如拳石，遂白于上（引者按：上指皇上），上亦未之省也。自是疾遂笃。三月，上以公久未出，遣使问之，知其不能起也，特制御文一通，遣使驰驿送公还乡。里居一月而薨。
这一点，还可以从朱元璋和大臣的谈话中得到印证：“后来胡（惟庸）家结党，（刘伯温）吃他下了蛊（引者按：蛊，音古，原意为寄生虫）了。只见一日来对我说：‘上位，臣如今肚内一块硬结怛，谅看不好。’我朝人送他回去，家里死了。后来宣得他儿子来问，说道胀起来紧紧的，后来泻得鳖鳖的，却死了。这正是着了蛊了。”
值得注意的是，明史专家吴晗考证的结论是：“刘基被毒，出于明太祖（朱元璋）之阴谋。胡惟庸旧与刘基有恨，不自觉地被明太祖所利用。”倘若这个考证正确，那么刘基的悲剧就更令人唏嘘不已了。
看来刘伯温先生并没有未卜先知的本领，否则的话，早知今日何必当初呢？