一九五六年十二月十七日，胡适在纽约悄悄过了他的六十六岁生日，当天到场祝寿的朋友二十多位，胡适端起酒杯说：“希望我们大家能在不久之后回返自由大陆，重建残破家园。”江冬秀听得这话挖苦胡适：“做你们胡家媳妇真要命，在海上跑来跑去。”胡适说：“你祖父当年发誓不把子女嫁给我们绩溪人，可还是将你嫁给了我，真是活该，活该！”
胡适说出这番话显然是有备而来，自来美国后，他一直“不舒服”，“烦躁不安”，大病一场之后，甚至提前留下遗嘱，让身边来往的朋友十分吃惊。似乎感到来日不多，他铁下心要回到台湾去。他对好朋友赵元任说：“我有一点小小的积蓄，在美国只能活二三年，如果在台湾，则可以坐吃十年还有余。台湾更吸引我，大陆搬迁过去的历史语言研究所里那些书对我更适用。”他打算定居在台北郊区，自己造一幢房子，幽居下来潜心做学术。蒋介石知道后，表示愿意从他的著作《苏俄在中国》的版税中拨款建屋一座赠予胡适，并电任胡适为“中央研究院院长”。原计划中“中研院”区域里的那座房子追加拨款二十万，建成一座占地50平方米的小洋房，给胡适居住。胡适表示他只要一个学人的私人住房，而不是中研院院长的住宅，并马上寄去2500美元作为住宅建造费。
一九五八年四月，胡适自纽约启程返回台湾，江冬秀什么都要带走，包括那张破旧的双人木床，胡适劝不住她，只好同意。结果那张木床从纽约运到台北，让搬家工人吃尽苦头，所需的工钱能买上好几张这种廉价木床。而江冬秀不依不饶，就是认为这张木床好，只要看到这张木床，她倒头就睡。任是再好的床胡适却无法静心安眠，但是总算回到了日思夜想的台湾，实在令人安慰。
胡适抵达台湾的那天，“副总统”陈诚亲自到机场迎接。第二天胡适在“总统府秘书长”张群的陪同下前往士林官邸，和蒋介石谈了大约一小时，说的都是学术问题。四月十日，胡适就任院长，蒋介石到会祝贺并演讲，赞扬胡适“个人之高尚品德”，并号召“发扬‘明礼义、知廉耻’之道德力量”。出乎所有人的意料，胡适当面反驳了蒋介石的这一提法。他说：“刚才总统对我个人的看法不免有点错误，至少，总统夸奖我的话是错误的。我们的任务，还不只是讲公德私德，所谓忠信孝悌礼义廉耻，这不是中国文化所独有的，所有一切高等文化，一切宗教，一切伦理学说，都是人类共同有的。总统年岁大了，他说话的分量不免过重了一点，我们要体谅他。我个人认为，我们学术界和中央研究院应做的工作，还是在学术上。我们要提倡学术。”胡适的话没说完，蒋介石已怫然色变，其他听众也一个个目瞪口呆。过后，有朋友劝胡适回台说话要小心谨慎，认为胡适有伤蒋介石的面子。胡适自己觉得没什么，“诤友”总有说话的自由嘛。然而，蒋介石却视此事为奇耻大辱，以至于夜不能寐，在日记中说胡适“狂妄荒谬”。
此后，随着胡适明确反对蒋介石参选“第三届总统”，两人矛盾逐渐加深。后来，为雷震鸣冤的胡适不断向“总统府秘书长”张群表达见蒋的要求，十一月十八日，蒋介石终于答应见一见胡适。
这次会见的气氛远没有此前两人见面时融洽，蒋介石以前都是单独接见胡适，这次会见时一左一右站着两位便衣。蒋介石抢先谈到了雷震问题，他说：“我对言论自由，已经放得很宽，但雷震背后有共产党的间谍，政府不能不办他。这一两年来，胡先生好像只相信雷震，不相信我们的政府。”胡适说：“今天总统说这话太重了，我当不起，我受不了。总统没有出过国，副总统也没有出过国，你们不会深知雷震案在国外产生的不良影响。”
这次谈话大约进行了五十分钟，最终胡适没有取得任何结果，雷震被判刑后，《自由中国》杂志也随之关停，胡适想借助蒋介石在台湾推行民主的幻想也就此破灭。