据原苏共中央政治局委员、俄罗斯联邦部长会议主席（1983—1988）维塔利·沃罗特尼科夫透露，任命吉洪诺夫为苏联部长会议主席，是勃列日涅夫和柯西金争斗的结果。当时，接近国家高层领导的人都知道，勃、柯两人之间有矛盾，经常发生磨擦。在沃罗特尼科夫任沃罗涅日州委第一书记（1971—1975）时，勃列日涅夫与沃罗特尼科夫和其他州委领导人交谈时，常以不屑的口气谈到部长会议的工作，说部长会议的工作不得力，许多问题还得让党中央解决。大家都明白，勃列日涅夫指的是柯西金。后来不仅是勃列日涅夫，其他人也经常背后议论柯西金。有一次，基里连科当着许多人的面粗暴地攻击柯西金，柯西金当然据理力争，言辞激烈地反驳基里连科。
1976年，柯西金的身体不太好，时而轻度心肌梗塞，时而轻微中风，这让吉洪诺夫有机会当上部长会议第一副主席。此前，当柯西金因病不能参加会议的时候，先是波利扬斯基，后是马祖罗夫主持政府的会议。人们突然发现，吉洪诺夫出现在主持人的位置上。当时有一种说法，说马祖罗夫身体不大好，大家应该爱护他，所以沃罗特尼科夫还以为只是由吉洪诺夫暂时代替马祖罗夫主持会议。没想到这只不过是个铺垫，到1978年年底，马祖罗夫退休后，吉洪诺夫就当上了部长会议第一副主席。这大概是为吉洪诺夫扫清晋升道路的第一个信号。吉洪诺夫不久又当选为政治局候补委员，这一步是相当明显的。这表明，吉洪诺夫不仅作为经济管理干部，而且作为政治活动家走上了国家领导人的舞台。1979年年底，在柯西金出现了大面积心肌梗塞以后，吉洪诺夫顺理成章地成了部长会议代理主席。当时的情况很特殊：柯西金还活着，只是身体不大好，吉洪诺夫就被选为政治局委员。而且柯西金还没递交辞职申请，就准备让他下台了。
实际上，柯西金是被迫退休的。据说，在这件事情上起主要作用的是契尔年科。他秉承勃列日涅夫的旨意和柯西金谈了话，要求柯西金写辞职报告，柯西金只好听从。1980年10月，吉洪诺夫取代了柯西金；同年12月，柯西金病逝。这里还有一段插曲：柯西金逝世那天恰逢勃列日涅夫寿辰，所以柯西金逝世的消息，全国人民是在两三天后才得知的。不过，当时勃列日涅夫已经病入膏肓，事情都是他下面的人干的。
吉洪诺夫与安德罗波夫的关系不深，可是，他对吉洪诺夫的态度总让人感觉有点儿拘谨。两人之间不像吉洪诺夫与勃列日涅夫和契尔年科那么亲热。后来契尔年科当总书记时，戈尔巴乔夫和吉洪诺夫的关系从表面上看还可以。吉洪诺夫取代了柯西金，戈尔巴乔夫当然明白，他该支持谁。柯西金本来也不大看得起戈尔巴乔夫，他对戈尔巴乔夫没有作过任何好的评价。后来，一位非常了解吉洪诺夫的人说，吉洪诺夫也看透了戈尔巴乔夫，也许，吉洪诺夫在弄清戈尔巴乔夫的人品以后，他们之间就有了隔阂和磨擦。
有一次，政治局讨论“先提高劳动生产力再提高工资”的问题，在这之前中央书记处也讨论过，可是部长会议却没讨论过。吉洪诺夫很不满，他认为像这样的问题应该先在部长会议上审议，然后（如有必要）再提交政治局讨论。最让他感到生气的是，中央书记处，特别是戈尔巴乔夫把经济问题揽过去已经不止一次了。于是他们吵了起来。戈尔巴乔夫说：“要是你解决不了，怎么办？？”吉洪诺夫说：“别想管你没有资格管的事？？”戈尔巴乔夫虽然没有说话，却依然我行我素，继续插手部长会议的工作。
戈尔巴乔夫不仅没忘这件事，而且很记仇。随着戈尔巴乔夫的飞黄腾达，吉洪诺夫的日子越来越不好过。安德罗波夫的葬礼后，头一次举行政治局会议是在1984年2月。会上对政治局委员的工作重新作了分工。契尔年科分管内外政策和党的组织工作；戈尔巴乔夫分管农业、农工综合体和农机制造，还负责中央书记处的工作，并规定总书记不在时由他主持政治局会议。对此，吉洪诺夫认为很不正常。他马上问：“为什么让戈尔巴乔夫主持政治局会议？他只是负责某些部门工作的书记，如果让他主持政治局会议，在讨论某些问题时，他的看法就可能不客观。”
几天后，沃罗特尼科夫有事去戈尔巴乔夫办公室。他用信任的口气对沃罗特尼科夫说，他和契尔年科谈起政治局会议结果时，对契尔年科说，如果像吉洪诺夫说的那样，这次会议一个人主持，下次会议另一个人主持，政治局工作就太不协调了，就会出乱子。契尔年科劝戈尔巴乔夫，说他什么都明白，让戈尔巴乔夫别放在心里。
虽然吉洪诺夫和戈尔巴乔夫的关系有些紧张，可是契尔年科逝世后，当葛罗米柯提名戈尔巴乔夫为总书记时，包括吉洪诺夫在内的与会者，没有一个人表示异议。
戈尔巴乔夫当上总书记后，与吉洪诺夫的关系更紧张了。有一次，吉洪诺夫向戈尔巴乔夫汇报1986—1990年国民经济发展计划。戈尔巴乔夫显得很不耐烦，给吉洪诺夫提了不少问题，还订正了一些提法。事后戈尔巴乔夫说，这个计划不怎么样，吉洪诺夫没好好准备？？
1985年9月，戈尔巴乔夫在政治局会议上宣布，吉洪诺夫递交了辞职申请。当时，大家都感到很突然。吉洪诺夫解释说，他身体不大好，医生建议他休息。客观地说，他的身体是比较虚弱，毕竟是80岁的人了。但促使他辞职的主要原因还不是他的身体状况，而是他认为自己在政治局得不到支持。
其实，也不是没有人支持他，他与多尔基赫的关系就很好。戈尔巴乔夫几次批评多尔基赫总是往吉洪诺夫那儿跑，有什么问题都征求吉洪诺夫的意见，似乎想达到什么目的。吉洪诺夫和多尔基赫的确比较投缘，也许与他们是同行（都当过冶金工程师）不无关系。
沃罗特尼科夫认为，吉洪诺夫的致命弱点是没有明确的经济发展设想。他长时间准备综合性经济计划，可戈尔巴乔夫却热衷于政治事物，把经济放在了第二位，认为政治改革可以推动经济发展。也就是说，即使吉洪诺夫有经济改革设想，也得不到实施。
吉洪诺夫辞职后，沃罗特尼科夫就再也没有见过他。吉洪诺夫像个隐士一样住在为他保留的政府别墅里，从不出头露面，对一切都很淡漠，不愿意与任何人交往。大家都知道他原来交友很多，可是他一直独处。不过，他的生活不成问题，物质上和医疗方面都有保障，而且还有警卫。