日本是中国的近邻，新中国十分重视中日关系和对日政策的制定。虽然日本军国主义的侵略曾给中国带来巨大损失，中日之间有着很深的民族仇恨，而且二战后日本采取了对美国“一边倒”的政策，但是建国初期，新中国所面临的主要威胁来自美国及其支持下的台湾国民党政权，对中国来说，中美矛盾已取代中日矛盾成为主要矛盾。同时，在中国领导人的眼里，日本已处于受欺侮、受压迫的境地，正在变成美国占领下的殖民地或附属国，日本对中国的安全不仅构不成直接的威胁，而且还是不同于美国的可以争取、团结的力量。在1951年签订的《中苏友好同盟互助条约》中，日本虽然被列为防止侵略的对象，“以期制止日本或其它直接间接在侵略行为上与日本相勾结的任何国家之重新侵略与破坏和平”，但主要是针对美国的。这一点周恩来后来有明确说明，在条约缔结一个多月后，他在外交部全体干部会上的报告中说：“我们所反对的一方面，是条约里指出的与日本勾结的国家，这就是美国。”条约将主要矛头直接对准日本主要是因为中苏与日本还未结束战争状态，表面上日本还是公开的敌人。而且日本是战败国，声名狼藉，将矛头对准它有助于得到曾遭受日本侵略国家的同情。
基于主要矛盾转换和日本地位的变化，中国对日基本方针是在平等、互利及相互尊重主权的基础上发展中日关系，直至重建正常的外交关系。这一点周恩来在1954年阐述得最为明确：“中国政府一贯主张在遵守平等互利和互相尊重领土主权等原则的基础上同一切国家建立正常关系。我国是愿意同日本建立正常关系的。如果日本政府也能抱有同样的愿望，并采取相应的措施，中国政府将准备采取步骤，来使中国同日本的关系正常化。”
在这个方针的指导下，建国初期中国对日政策的基本点是：1、反对美国制造的片面对日媾和，力争按照开罗宣言、波茨坦公告等协定缔结共同对日和约；2、反对美国长期占领日本和重新武装日本；3、反对日本政府与台湾的国民党政权缔结和约；4、将日本人民与日本政府区别开来，支持日本人民争取独立、和平与中日友好所进行的斗争；5、在平等互利的基础上发展两国的贸易关系和文化交流，打破美日政府的“封锁禁运”。上述这些政策在1949－1953年的一系列中国政府声明、《人民日报》社论、新华社评论等文件中得到阐述。
中国政府为贯彻上述政策进行了不懈的努力，其中前三项是相互关联、融为一体的，并且在1952年前是重点。1950年4月26日，中国发表庆祝五一节的口号，其中有：“中日人民团结起来，反对美帝国主义长期占领日本及把日本变成殖民地或附属国，完全实施波茨坦宣言，早日缔结对日和约！”从1950年10月美国提出关于对日和约问题备忘录到1952年5月“对日和约”生效和“日台和约”签订后一周，周恩来外长4次发表声明，申明中国政府的立场和原则，指出中国政府不承认旧金山对日和约和日台和约。《人民日报》、《光明日报》等媒体多次发表社论和文章，一些社会团体、知名人士也发表文章或公开信，反复申明中国人民反对美国单独对日媾和、复活日本军国主义的立场。1951年5月7日，中国1.8亿人游行，反对美国武装日本。7月18日，中国3亿人（占总人口71.5％）参加了反对重新武装日本的投票。
总的来看，在旧金山和约和“日台和约”签订之前，中国政府曾试图同日本建立正常的、平等的国家关系，并没有把日本当成威胁和敌人。然而，日本政府出于主观和客观的原因，却与台湾国民党政权签订了“和约”，进而拒绝承认中华人民共和国政府。这样，中日之间出现了一道鸿沟。
二、“日台和约”：日本求“小”失“大”
日本战败后，虽然处于美国的控制下，一度失去了外交上的自主权，“日台和约”的签订在一定程度上是迫于美国的压力，但是日本自身的因素也是不可忽视的。签订旧金山和约和“日台和约”，日本自己也发挥了积极的作用。
战败后的日本并没有彻底吸取教训，完全转变对中国的态度。吉田内阁一开始就对新中国抱敌视态度。早在1949年8月，中国人民解放战争胜利进行之时，吉田茂就致信麦克阿瑟，声称“必须阻止现今席卷亚洲大陆的共产主义潮流”，并说：“从日本的地理位置和国民性来说，这个国家将成为对共产主义的防波堤和远东的稳定力量”，把日本摆在中国革命对立面的位置上。
中苏同盟条约的签订使日本为之震动。日本官方借机配合盟军总司令部进行反苏、反华、反共宣传。其中一个重要宣传材料就是：在日苏中立条约还有效的期间，苏联竟单方面废弃条约而向日本宣战，割取日本固有领土千岛作为参战的代价；参战后进入满洲作战的苏联官兵在各地掠夺日本人的财产，凌辱妇女；此外还造成几十万日俘的死亡。日本官方的宣传有些是强词夺理，比如苏联对日宣战是应美国的要求并且有《波茨坦公告》为依据的。而且当初苏德交战时，日本就打算进攻苏联，已经破坏了日苏中立条约。
朝鲜战争爆发后，吉田政府于当年7月14日在第八届临时国会施政演说中，声称要对联合国在朝鲜战争的行动给予“合作”。随后，吉田政府积极参加美国对华禁运封锁，并且迅速把日本变成了美国进行朝鲜战争的供应基地。如果没有日本作供应基地，美国是很难打下去。正如美国驻日大使罗伯特·墨菲所说，“如果没有这一招（指把日本变成供应基地——笔者注），朝鲜战争就打不下去。”此外，在朝鲜战争中，日本还把海员和铁路人员秘密派到朝鲜，起了很大作用。墨菲评论说：“这是绝密，如果联合国军没有熟悉朝鲜情况的几千名日本专家的协助，要呆在朝鲜，必然遭到各种困难。”
随着冷战的展开，美苏两大阵营在对日媾和问题上发生分裂，分歧焦点是全面媾和还是单独媾和。主张全面媾和的苏联和中国认为，对日媾和问题应先在美英中苏四国外长会议上讨论；而主张单独媾和的美国则认为，应先在按多数表决原则处理问题的远东委员会上讨论，因为美国确信它可以在远东委员会上取得多数的支持，以便强行通过它自己的意见。此外，美国还企图将中华人民共和国作为未予承认的国家而排除于谈判对象之外。朝鲜战争爆发后，美国为了取得日本的“合作”，积极促进对日单独媾和。1950年11月24日，美国发表了对日媾和七原则，共包括当事国、联合国、领土、安全保障、政治及通商的规定、请求权（赔偿）、纠纷（有关请求权的纠纷）七个项目。美国采用了与远东委员会各成员国分别进行讨论对日媾和问题的方针。而按照波茨坦公告的规定，对旧轴心国的媾和，首先应由联合国安理会常任理事国，即美英法中苏五大国外长会议按大国一致的原则来处理。根据1945年12月的莫斯科外长会议的决定，则首先要由五大国中的受降签字国来处理。显然，美国的做法不符合波茨坦公告精神。然而，日本吉田政府却支持美国的单独媾和的方针。1951年1-2月，杜勒斯访日时，吉田政府就向杜勒斯表明了他们的意思。1月29日，日本财界的经济团体联合会、日本产业协会、金融团体协议会、日本商工会议所、日本贸易会、中心企业联盟、日本经营者联盟及经济同友会共8个团体联名向杜勒斯提出了《关于媾和条约问题的基本要求》。主要内容是：赞成单独媾和；日本要尽快完全回到国际社会中去；重整日本军备并与美国缔结有互相援助内容的地区性安全保障协定。2月14日，吉田首相在第十届国会的众议院全体会议上宣称：波茨坦公告规定的是战败国与战胜国之间的关系，而将来的媾和条约则希望把日本视为完全的独立国，以平等的地位来对待。公然否定了日本曾接受了的波茨坦公告。日本统治阶级支持美国媾和方针的政策完全确立下来。以后，在中苏两国与美国就对日媾和问题论战期间，吉田密切配合美国，压制国内反对派，实际上参与了论战，对抗中国。对此，周恩来外长曾有深刻揭露。1951年8月15日，周恩来发表了《关于美英对日和约草案及旧金山会议的声明》，指出“美国政府这一显然违反国际协定义务的计划，是得到成为美国占领日本的政治支柱的吉田政府的支持的。美国政府和日本吉田政府正在互相勾结，阴谋重新武装日本，奴役日本人民，将日本再度推上曾经使日本濒于毁灭边缘的侵略道路”。
1951年9月8日（日本时间9日），对日和约签订。由于吉田首相保证迅速就赔偿问题开始谈判，菲律宾和印度尼西亚也在条约上签了字。苏联、波兰和捷克三国拒绝签字，最后算日本在内，共有49个国家签字。和约签订后一周，10月15日，吉田首相在日本众议院全体会议上讲了日本的“基本外交路线”，说希望日本在“坚决投靠自由国家群”的同时，“能够站在率领亚洲的自由国家群，为世界和平和世界自由作出贡献的立场上”。表明他在日本战败之后仍抱着大日本帝国时代的“大东亚共荣圈”的野心不放。在对华政策上，吉田的意思是，重点扩大自由国家群与中国的接触，从而给共产主义制度下的民众以接触自由阵营的机会，而唯有同文同种的日本，才愿意率领自由国家群扩大与中国的接触。这种观点与杜勒斯的“和平演变”战略非常相象。只不过是日本要充当这种“演变”的主帅。
9月18日，“九·一八事变”20周年纪念日，周恩来总理兼外长发表声明，指出：对日和约是敌视中苏两国的条约，是对中华人民共和国的安全以及其他许多亚洲国家的安全，构成了严重威胁的条约。他还宣告：美国完全无视“中国人民在击败日本帝国主义的伟大战争中，经过时间最长，遭受牺牲最大，所作贡献最多”的历史事实，一手包办旧金山会议，签订了对日单独和约，因此中国政府认为“是非法的，无效的，因此是绝对不能承认的”。
旧金山对日和约签订后，日本政府不得不下决心对“两个中国政府”进行选择。此前，日本先解决了承认哪一个朝鲜的问题。旧金山对日和约的第二条a项，对朝鲜问题只谈到“承认朝鲜独立”，因此究竟是与大韩民国还是与朝鲜民主主义人民共和国建立正式邦交关系，也就任凭日本来选择。在盟军总司令部的压力下，1951年10月20日，吉田内阁决定承认韩国。在选择“中国政府”问题上，吉田内阁也受到了美国的压力，但它自己也有不可推卸的责任。1951年12月24日，吉田首相写信给杜勒斯，保证同“中华民国政府”之间“准备缔结恢复正常关系的条约”，“无意同中国的共产党政府缔结两国间的条约”。他还在信中写明，将要缔结的“日台条约”“适用于中华民国国民政府现在统治和今后将要统治的一切领土”。1952年1月16日，日美两国政府都公布了吉田的这封信。中国外交部副部长章汉夫于1月22日发表声明，谴责吉田信件是“对中国人民与中国领土重新准备侵略战争的铁证”，是继旧金山会议后，“又一次对中国的严重挑衅行为”。然而，吉田内阁不顾中国政府的强烈反应，于1952年2月20日开始了“日台条约”的谈判，并于4月28日签订了《日本国与中华民国之间的和平条约》。条约仍规定：条约的适用范围是“中华民国政府所控制的和今后将控制的一切领土”。此外，日本政府还利用蒋介石集团与新中国对抗并急于得到日本支持的机会，没有对中国偿付任何战争赔偿。值得一提的是，在战争赔偿问题上，日本对其它亚洲国家也是狡猾地利用这些国家经济和政治上的窘境，迫使它们妥协，没有给予充分的赔偿，而且还将战争赔偿变成向这些国家进行经济侵略的桥梁。
就这样，日本最终选择了台湾国民党政府作为外交承认对象，而将拥有数亿人口的中国大陆置于敌对的地位上。这完全是冷战两大集团对抗的结果，从某种意义上说，是不符合日本国家的根本利益的。由于中国政府始终坚持“一个中国”的立场，日台和约的签订实际上是冻结了中日两国政治关系的发展。正如周恩来后来所说，“美国搞了个单独对日‘媾和’，日本又搞了个日台‘条约’，这就给中华人民共和国和日本国签订和约造成了最大的障碍。”可见，台湾问题也构成了影响中日关系发展的一个重要因素。
三、积累渐进：中国对日外交的新方式
旧金山和约、日美安全条约和“日台条约”的签订，表明日本吉田政府已走上亲美、亲蒋、反华的道路。中日关系不可能在短期内实现正常化。然而，发展中日关系又是关系到亚洲乃至世界和平、稳定与发展的大事，也是历史的必然趋势。因此要从战略高度来思考和处理中日关系问题，既不因美日勾结敌视中国、阻挠中日关系发展而使之倒退，也不因国际环境之险恶而徘徊不前。中国政府坚信发展中日关系是符合中日两国人民根本利益的，也是顺应历史潮流的，因此从现实情况出发，调整了对日的原则和方针政策。首先是把日本人民与日本政府区别开来；其次是对日本政府，既要看到它屈从美国敌视中国的一面，又要看到它不甘心于美国的压制，在某种程度上要求自主的一面，因此对之既要斗争又力求争取。基于这种原则，为了打开两国关系的僵局，中国政府决定从民间往来做起，展开“国民外交”，日积月累地创造条件，进而推动官方关系的前进，即“民间先行、以民促官”的方针。