“二战”后的柏林爱乐乐团几经危机，除了乐队本身需要重建，人员要添补外，首席指挥的问题也急需解决。
1947年富特文格勒归来，但在种种内外因素的影响下，他一直待到1952年才下定决心出任乐团首席指挥一职。但此时的富特文格勒已经力不从心，他的耳聋日渐严重。而且富特文格勒人缘欠佳，与其他指挥以及乐队成员的关系都比较紧张，所以在富特文格勒因肺炎逝世前，柏林爱乐乐团就在考虑其继任人选问题，而候选人都是当时指挥界的能人：克鲁依坦、切利比达奇、约胡姆、舒里希特，还有卡拉扬。
卡拉扬和柏林爱乐乐团有过一些接触，他们不但录制了贝多芬的《英雄交响曲》，还共同出席节日周音乐会。这些演出得到了当时乐评家的热烈赞赏。
经过这短期的磨合，卡拉扬的继任只是时间问题。1954年11月30日富特文格勒逝世，正是柏林爱乐乐团美国之行的前夕。第二天，柏林爱乐乐团经理格哈德·冯·韦斯特曼就立刻打电话给卡拉扬，请他出任乐团首席指挥一职。
这支乐团正是卡拉扬日思夜想想要拥有的。他曾说：“我一定要得到这支乐团，因为它的素质让我着迷，而且我也知道，和这支乐团一起我将有什么样的成就。我要一份终生合同，理由只有一个：我要在这支乐团身上花很多时间，以求它能与我最终同心同德。我不能让一个新来的议员说着说着就结束我俩的合作关系。我必须承认，这支乐团通过几十年的成长，正在成长为我梦寐以求的样子。”
另一方面，柏林爱乐乐团的成员也投票通过了对卡拉扬的任命，这意味着卡拉扬将带领乐团旅美。不过卡拉扬在这时提出了一个条件，就是任命文书要在出发之前面交到他的手上，并且其任命要得到官方确认。
2月25日乐团抵达美国，一切平静。卡拉扬对此一切只是做了一个简短的声明：“我不谈政治，我只是作为一位音乐家来到这里。”卡拉扬与柏林爱乐乐团在接下来的六个星期以其声音打动了美国听众和乐评界。他们分别在华盛顿、纽约卡内基音乐厅、辛辛那提和巴尔的摩等城市演出。
这次美国之行，是一次真真正正的试用期。卡拉扬要向三方面交答卷：一是观众和乐评人，二是柏林爱乐乐团，三是当时的西德政府。不但是艺术方面，卡拉扬还必须在道德和政治方面要表现成熟（例如在美国时言行是否得体，是否会被反对的声音打压下去），才能显示自己可胜任柏林爱乐乐团首席一职。卡拉扬不负众望。在3月5日卡拉扬一行还在匹兹堡逗留时，就已传出乐团大部分成员投票赞成卡拉扬成为他们第四任常任指挥的消息，而等到他和乐团返德之后几天，其任命被柏林政府确认。卡拉扬再一次被问道，他是否愿意继承富特文格勒衣钵，带领柏林爱乐乐团，他回答道：“万分欢喜地接受。”于是，柏林爱乐乐团的权杖历经汉斯·冯·彪罗、尼基什和富特文格勒，终于传到卡拉扬手上。