1066年圣诞节后，征服者威廉一世为控制伦敦商业社区，扼守通往伦敦池的通道，于1087年开始在泰晤士河北岸、伦敦市东侧兴建中央城楼白塔。12—13世纪，以白塔为中心向墙外扩展，形成内外两层的防御要塞。内城墙上建有塔楼13座，外城墙上有6座，并有两座堡垒，四周挖有护城河，整个建筑面积为7公顷。城堡只在西南角有一陆上入口，13世纪在河流上建一水门为主要通道。该塔长期被作为国家监狱使用，因此水门也被称作“叛逆者之门”。塔中军械库里收藏有中世纪初期到现代的各种武器。17世纪前为王室住地，现在驻有军队。该塔及其周围地区被划为“自由区”，不受伦敦市长和伦敦主教管辖，一般由陆军元帅担任要塞总管。
塔内有管理仪仗卫士的常驻长官，仪仗队至今仍着都铎王朝时代的军服。