撒切尔夫人话锋一转，发表了她对保持香港繁荣问题的观点。她直截了当地说：“香港的繁荣有赖于信心，而信心除了有赖于英中双方的良好关系外，还有赖于稳定的货币以及目前香港所实行的金融和税收制度、法律制度、政治和经济制度等等，而这一切又都有赖于英国的管理。”意思非常明白，香港今天的繁荣是英国人带来的，而且也只有英国人才能保持下去。
对付“铁娘子”这种强权政治的论调，邓小平是富有经验的。当年他和苏联的赫鲁晓夫舌战莫斯科，竟然让这个苏联人心虚地在中央政治局的大会上说出了真心话：“这个邓小平厉害，不好对付。”“柔中有刚，绵里藏针”，这是邓小平外交的风度和境界。对“铁娘子”，他依然十分平静地说：“保持香港的繁荣，我们希望取得英国的合作，但这不是说，香港继续保持繁荣必须在英国的管辖之下才能实现。香港继续保持繁荣，根本上取决于中国收回香港后，在中国的管辖之下，实行适合于香港的政策。……现在人们议论最多的是，如果香港不能继续保持繁荣就会影响中国的‘四化’建设。我认为，影响不能说没有，但说会在很大程度上影响中国的建设，这个估计不正确。如果中国把‘四化’建设能否实现放在香港是否繁荣上，那么这个决策本身就是不正确的。”
听了邓小平不愠不火的回答，“铁娘子”的态度突然变得强硬起来。她用威胁的口吻说：“如果现在对英国的管理实行或宣布重大改革，对香港的信心所产生的影响将是灾难性的，将导致大批资金外流，金融中心崩溃，多年来所建立起来的东西将毁于一旦。”
邓小平回答：小波动不可避免，“如果中英两国抱着合作的态度来解决这个问题，就能避免大的波动。”他还告诉英国首相，中国政府在做出这个决策时，各种可能都估计到了，“还考虑了我们不愿意考虑的一个问题，就是如果在十五年的过渡时期内香港发生严重的波动，怎么办？那时，中国政府将被迫不得不对收回的时间和方式另作考虑。如果说宣布要收回香港就会像夫人说的‘带来灾难性的影响’，那我们要勇敢地面对这个灾难，做出决策。”邓小平说，他所担心的就是今后15年如何过渡好，担心在这个时期中会出现很大的混乱，而且这些混乱是人为的。制造混乱的有中国人，也有外国人。他希望从撒切尔夫人这次访问开始，两国官员就要讨论如何避免这种混乱。
在这次会谈中，邓小平义正词严地驳斥了有关收回香港问题的一系列错误言论。一是驳斥了“中国四化离不开香港”的论调。
二是驳斥了“香港回归后外资会撤走”的论调。邓小平强调，只要我们的政策适当，走了还会回来的。所以，我们在宣布一九九七年收回香港的同时，还要宣布一九九七年后香港所实行的制度和政策。
三是针对一部分人对“收回香港”是全体中国人的“共同愿望”持怀疑态度，邓小平强调，采用和平方式解决香港问题，就必须既考虑到香港的实际情况，也考虑到中国的实际情况和英国的实际情况。就是说，我们解决问题的办法要使三方面都能接受。如果用社会主义来统一，就做不到三方面都能接受。勉强接受了，也会造成混乱局面。即使不发生武力冲突，香港也将成为一个萧条的香港、后遗症很多的香港，这不是我们所希望的香港。所以，就香港问题而言，三方面都能接受的只能是“一国两制”，允许香港继续实行资本主义，保留自由港和金融中心的地位，除此以外没有其他办法。
这三点意见极其重要，也具有相当的分量。听着邓小平这不容置疑的阐述，撒切尔无言以对，无可奈何。外电评述：撒切尔是锋芒毕露，邓小平是绵中寓针。
这场激烈交锋过后，两位领导人开始商量起会谈公报问题。此时，中国外交部副部长章文晋和英国驻华大使柯利达走到旁边准备起草这份公报。
邓小平建议这次与英国首相的会谈能达成这样一个协议，“即双方同意通过外交途径开始进行香港问题的磋商。前提是1997年中国收回香港，在这个基础上磋商解决今后十五年怎样过渡得好以及十五年以后香港怎么办的问题”。
但是，撒切尔夫人坚决不同意邓小平的这个建议，特别是拒绝以1997年中国收回香港为前提。
经过一阵争执，双方同意发表一个不做任何实质性承诺的会谈公报。
会谈结束后，撒切尔夫人还有点紧张。她没有料到中国态度那么坚定，在主权问题上连一点调和余地也没有，而且限定了时间。她没有这种思想准备。她私下里对驻华大使柯利达说：“哎唷，邓小平真残酷啊！”
第二天，她告诉英国广播公司记者说：我同邓小平等中国领导人的“会谈是友好的，我们承认有分歧，但是我们共同的目的大于分歧”。同日，全世界都获悉：中英双方本着维护香港的繁荣和稳定的共同目的，同意在这次会晤后两国通过外交途径继续进行商谈。中英关于香港问题的第一阶段会谈到此结束。
从1982年9月下旬，中英双方围绕香港主权问题继续进行了一系列针锋相对的斗争，从媒体上的论战一直延续到谈判桌上。10月19日，按照撒切尔夫人访华时双方形成的意见，中国外交部副部长章文晋与英国驻华大使柯利达开始进行正式谈判。因为主权问题，双方“顶牛”而相持不下，最后磋商陷入僵局，不欢而散。
1982年底，在邓小平的建议下，第三届全国人大第五次会议审议通过的新《宪法》中增添了一条：国家在必要时设立特别行政区。在特别行政区内实行的制度按照具体情况由全国人民代表大会以法律规定。而此前，邓小平通过廖承志，披露了关于解决香港问题的16字方针：收回香港、港人治港、制度不变、保持繁荣。到了1983年3月，在邓小平亲自过问下，中方形成了一个成熟的方案。尤其是将“收回主权”改为“中国政府恢复对香港行使主权”，明确了香港的主权归属中国，避免在100多年来香港主权归属问题概念上的混乱和不确定。这是一个全新的12条方案，严谨科学、完善具体、清晰丰富，并且确定中国共产党已经决定要将“一国两制”的理论首先应用于解决香港问题的实践。这12条基本政策和规定是：
（一）为了维护国家的统一和领土完整，并考虑到香港的历史和现实情况，中华人民共和国决定在香港恢复行使主权时，根据中华人民共和国宪法第三十一条的规定，设立香港特别行政区。
（二）香港特别行政区直辖于中华人民共和国中央人民政府。除外交和国防事务属中央人民政府管理外，香港特别行政区享有高度的自治权。
（三）香港特别行政区享有行政管理权、立法权、独立的司法权和终审权。现行法律基本不变。
（四）香港特别行政区政府由当地人组成。行政长官在当地通过选举或协商产生，由中央人民政府任命。主要官员由香港特别行政区行政长官提名，报中央人民政府任命。原在香港各政府部门任职的中外籍公务、警务人员可以留用。香港特别行政区各政府部门可以聘请英籍人士或其他外籍人士担任顾问或某些公职。
（五）香港的现行社会、经济制度不变，生活方式不变。香港特别行政区依法保障人身、言论、出版、集会、结社、游行、迁徙、通信罢工、选择职业和学术研究以及宗教信仰等各项权利和自由。私人财产、企业所有权、合法继承权以及外来投资者均受法律保护。
（六）香港特别行政区将保持自由港和独立关税地区的地位。
（七）香港特别行政区将保持国际金融中心的地位，继续开放外汇、黄金、证券、期货等市场，资金进出自由。港币继续流通、自由兑换。
（八）香港特别行政区将保持财政独立，财政收入全部用于自身需要，不上缴中央人民政府。中央人民政府不向香港特别行政区征税。
（九）香港特别行政区还可同英国和其他国家建立互利的经济关系。英国和其他国家在香港的经济利益将得到照顾。
（十）香港特别行政区可以“中国香港”的名义单独地同各国、各地区及有关国际组织保持和发展经济、文化关系，并签订有关协定。香港特别行政区政府可自行签发出入香港特别行政区的旅行证件。
（十一）香港特别行政区的社会治安由香港特别行政区政府负责维持。中央人民政府派驻香港特别行政区负责防备的军队不干预香港特别行政区的内部事务，驻军军费由中央人民政府负担。
（十二）上述基本方针政策，将以中华人民共和国香港特别行政区基本法规定之，并在50年内保持不变。
邓小平认为，这12条方针政策是中英谈判的基本依据。为打破僵局，邓小平还发出了一个信号，如果中英谈判谈不好，中国政府迟至明年9月将单方面宣布于1997年收回香港。
拉锯式的谈判一直到1983年的2月9日，双方共进行了四轮谈判，均告失败。在这前四轮的谈判中，由于英方仍然坚持1997年英国继续管治香港的立场，致使会谈毫无进展。
谈判中，英方名义上同意交还主权，但却坚持治权不放，并制造种种舆论，说什么香港的繁荣离不开英国的管理，主张“以主权换治权”。同时“铁娘子”再次打出三张“牌”：一是“信心牌”，说香港人对中国政府接管没有信心；二是“民意牌”，说香港人不愿意这么干，对内地政府顾虑很多，并发动所谓征集“民意”运动；三是“经济牌”，即抽走资金等。1983年9月英资财团首先在伦敦大量抛售港币，引起港币暴跌，造成了抢购、挤兑的风潮。香港出现的波动，把谈判推到了关键时刻。而谈判桌上也是一波未平，一波又起。先是发生了英方“企图以港英当局的名义直接或间接参与中英关于香港问题的谈判，以形成三方会谈，并实际上造成英港联手对付中国政府的局面”的“三脚凳”计划，玩弄“港人牌”，图谋节外生枝。
由于中英谈判再次面临危机，英国前首相希思深感忧虑。他急忙飞到北京，会见中国领导人，打算利用自己的特殊身份，再次做沟通两国领导人的工作，为打破谈判僵局贡献自己的力量。这是他自1974年以来的第六次访华。他每次访华都要会一会邓小平。这一次就更有必要见一见老朋友了。
9月10日，邓小平会见希思。两位老朋友亲切地寒暄了一番。他们畅谈国际问题。在这方面，两人的共识颇多。接着，他们谈起了中国的经济建设。希思目睹了“文化大革命”末期和改革开放初期中国的不同景象。他对邓小平的杰出治国才能和人格非常钦佩，对中国正在加速进行的现代化建设由衷地感到高兴。
当话题转到香港问题时，气氛一下子变得格外沉重。邓小平对英国政府在当时谈判中的做法极为不满。他斩钉截铁地宣布：想用主权来换治权是行不通的。22日要会谈（指第四轮会谈），我希望不要再纠缠在治权问题上。我的意思是说，不要搞成中国单方面发表声明收回香港，而是要中英联合发表声明。联合声明的方式对两家都好，不是说对哪一家更好，特别是涉及到中英长期的关系。
谈到过渡期问题时，邓小平指出，从现在到1997年的14年要过渡得好，关键在于1997年收回香港能顺利进行，而不会引起动荡。比较顺当地接收对各方都有好处。英国利益不会受到损害，美国、西欧的利益也不会受到损害。他又强调，过渡期有个香港人参与管理的问题。无论政治、经济、商业和金融方面，不知道怎么办，一下子拿过来怎么行！
邓小平告诫说：在香港问题上，我希望撒切尔首相和她的政府采取明智的态度，不要把路走绝了。他最后再次强调，他希望英方在9月22-23日的第四轮会谈时，不要再纠缠主权换治权问题，要扎扎实实地商量香港以后怎么办，过渡时期怎么办。这对彼此最有益处。如果英方不改变态度，中国就不得不在1984年9月单方面公布解决香港问题的方针政策。
希思向邓小平表示，他将把这番话转告撒切尔夫人。回国后，希思向英国政府传递了邓小平的谈话内容，并劝首相应该改变以主权换治权的做法。
从1984年4月起，中英谈判转入拟定关于过渡期的主权移交问题。也就是从这个月开始到7月的3个月时间里，邓小平频繁地接见了英国外交大臣杰弗里·豪，双方就《中英联合声明》的文本基本达成了一致意见。7月31日，邓小平在会见杰弗里·豪时，他又一次阐述了“一国两制”的构想，保证香港的资本主义制度和生活方式“50年不变”，并对过渡期的香港的未来真诚地提出了“五点希望”。邓小平强调：我们希望香港在过渡期内，不要出现以下几种情况。
第一，希望不要出现动摇港币地位的情况。港币发行量究竟多少？港币信誉好是因为储备金雄厚，多于发行量，不能改变这种状态。
第二，我们同意可以批出一九九七年后五十年内的土地契约，而且同意港英政府可以动用这笔卖地收入，但希望用于香港的基本建设和土地开发，而不是用作行政开支。
第三，希望港英政府不要随意增加人员和薪金、退休金金额，那将会增加将来特别行政区政府的负担。
第四，希望港英政府不要在过渡时期中自搞一套班子，将来强加于香港特别行政区政府。
第五，希望港英政府劝说有关方面的人不要让英资带头转走资金。
邓小平还表示：“我们希望过渡时期不出现问题，但必须准备可能会出现一些不以我们的意志为转移的问题。”