秦始皇时期，匈奴更加猖獗，为了消除匈奴人的威胁，秦始皇对匈奴发动了的大规模作战。秦始皇三十三年（前214年），秦始皇令蒙恬率30万精兵，北击匈奴，占领“河南地”。为巩固从匈奴人手中夺来的河南地，秦始皇在黄河沿线设置了大量的防御设施和行政机构。蒙恬于前214年在此设立了榆中县，兰州历史上的第一次移民也就开始了，专家推测当时大约有万人来到榆中屯垦戍边。
那时，榆中县城的位置在今天的城关区东岗镇一带，这个地方靠山靠河，面临平原，可以严密监视整个河谷平原上人们的一举一动。
这个城并不大，长不过一百多米，也比较简陋，其主要的目的是为了防备匈奴人，而且很快这个地方也因秦王朝的灭亡而面临战乱。
汉武帝元狩二年（前121年）春夏，霍去病两次出击河西走廊休屠王等匈奴部众。由于霍去病使用骑兵长距离奔袭的战术，经常出其不意，故而很快就在河西走廊的战斗中取得决定性胜利。就在霍去病出击匈奴的同时，西汉中央政府也开始大力加强对兰州黄河以南地区的管辖。前121年西汉将榆中县西部分出金城县，金城县治则在兰州市西固城附近，这是金城第一次出现。公元前81年，西汉中央政府再次加强了对兰州及其周边地区的控制，设立金城郡，辖13县。
两汉时期，兰州一带的人口变化也比较大。西汉时，金城郡所辖的13县，有38000多户，149648人，这是金城人口达到的第一个高峰。随后不久，兰州地区战乱不断，羌族同中央政府多次在兰州地区发生拉锯战，战乱导致人口急剧减少。184年，金城郡人口统计仅有3800多户，18000多人。到三国时期，金城全郡人口更是少得可怜，“户不满500”，只有西汉时的百分之一二了，到晋代金城户口才略有增长，也只有2000户。
兰州的来历和皋兰山有直接关系。如今人们通过测量知道皋兰山的真正高度为海拔2129．6米，但对皋兰山的真正来历却各执一词。人们研究认为，皋兰有两种来历：其一来自于少数民族语言，有人认为皋兰是匈奴语，因为匈奴语称天为祁连，而西北的皋兰、乌兰、贺兰诸山名都与“祁连”读音接近，其意思是“高峻”，也有人认为，皋兰是蒙古语，其意是“飞奔的骏马”；而更多专家将这些问题连在一起进行考虑，他们认为皋兰是古羌族的语言，随着羌族同北方其他少数民族的多次融合交流，皋兰一词也就在匈奴、蒙古等民族语言中出现。这些民族把河称之为皋兰，那么皋兰山就是河边的大山。其二，有人认为，皋兰一词，来自山中生长的一种兰草，皋兰以兰草众多而得名，但是这一说法依据不足。
随着战争和商贸的需要，建于汉代的金城县在西魏时被废，今天的城关区一带遂成为当时的社会活动中心。金城县被废的主要原因是十六国时期，一次次征战将定西通往兰州的丝绸之路打开，城关区一带交通位置日益重要，于是人们就搬迁到了今天的城关区。
隋开皇元年（581年），隋朝正式设立兰州，“兰州”由此而来。兰州总管府最初设在子城（兰州城关区一带），后来曾经迁到过金城（今西固城），兰州管辖子城、金城、狄道（临洮）三县。605年，废兰州总管府，后复置兰州总管府。公元619年，唐置兰州，改子城县为五泉县、允吾为广武县。其时，兰州管辖五泉、广武、金城三县，州治在五泉。
隋唐时兰州城只算个中等城池。关于隋唐时兰州城的具体位置，专家们的意见分歧比较大。有人认为在中山林一带；有人说在今天的胜利宾馆一带；还有人说就在今天的省政府。从黄河河道变迁的情况来说，当时黄河河道宽广，有些河岔就在皋兰山边上，因此隋唐时，兰州城在皋兰山边的可能性比较大。有专家建议，应该将这些年的钻探资料进行分析，这样就可以知道黄河河道摆动的具体位置，从而推断出兰州城的大概方位。
开元二年（714年），兰州三县人口不到15000人。到了唐朝安史之乱后，驻守今天青海甘肃两省的哥舒翰大军被征调到潼关同安禄山叛军作战，整个陇右地区防务空虚，兰州承受的军事压力逐渐增大。唐代宗广德元年（763年），吐蕃举兵入侵大震关，占据陇右各地，兰州城为吐蕃的牧地，直到1081年宋军攻占兰州。在这三百多年间，兰州大部分时间和地域均处在吐蕃和西夏的统治之下。
北宋时，兰州是西夏、宋、金交战的前线，出于防守的需要，人们将修筑城池视作头等大事。不仅在兰州修筑了大量的堡寨，而且也对兰州城进行了多次整修。
北宋时期，第一次修补是在元丰四年（1081年）。这年6月，宋朝发动五路大军进攻西夏，7月，诏李宪“相度置船筏于洮河上游，相机率兵东下……”8月，李宪率军越过马衔山，进占龛谷寨、三角城，然后从夏官营取道桑园峡进攻兰州。9月2日，进占兰州。宋朝派李浩守兰州，同时开始修筑兰州及其周边的城寨。当时的兰州城位于解放前兰州城的西南角，这个时候的兰州城比较小，东西600余步，南北300余步。
1083年，人们再次整修隋唐时修建的兰州城。由于隋唐时期的兰州城主要靠近兰山，距黄河比较远，不能充分利用黄河天堑，于是人们在濒临黄河的地方展筑兰州城，废旧南城。同时依照百步法，设定兰州守城人数为6456人，整个兰州共计有8000名驻军。后来为增加防御力量，宋哲宗绍圣四年（1097年）时，苗履建议修复金城关，并在黄河上架设浮桥。这年4月，兰州军事推官钟传，趁着宋夏在灵平会战，于6天之内在黄河上架设浮桥，修筑金城关。后来苗履再次增筑兰州北城。宋徽宗时（1104年），人们再次增筑兰州北城，由于战乱不断，这个时候兰州只有981人。
丈，池深一丈五尺，周六里三分，三面土筑，面砖，下临黄河，建四门，上各建层楼戍铺”。
元代兰州基本上属于内地，城市的防御体系在人们心中逐渐淡化。到了明代，由于明政府放弃了嘉峪关以西的地方，再加上明政府同漠北的蒙古族长期处于战争状态，因而人们多次修筑兰州城，这是兰州城池大发展的时候。解放前的兰州城，基本上就是人们在明清基础上扩建而成的。
明洪武十年（1377年），兰州卫指挥同知王铸，在宋、元兰州城的基础上，增筑兰县城，东西长一里二百八十步，南北宽一里八十二步，高三丈五尺，阔二丈六尺。开四座城门：东为承恩门，南为崇文门，西为永宁门，北为广源门。城门之上，均建城楼。
从这之后到解放前，兰州城经历了多次的维修和扩建。明宣德时（1426年～1435年），佥事卜谦、指挥戴旺修筑外廓，共十四里二百三十一步。明英宗正统十二年（1447年），都指挥李进增筑承恩门外廓，自西北至东北，共99丈余，并辟城门九座：东关迎恩门，即今东方红广场东口；东北为广武门，在今秦安路与金昌路相交处；再往东北为天堑门，在今静宁路北口；南为拱兰门，在今旧酒泉路兰州卷烟厂稍南；东南为通远门，在今静宁路与畅家巷西口相交处；西南为永康门，在今胜利饭店与市交通局楼之间；再往西南为靖安门，在今临夏路通下沟路口稍南；西为袖川门，在今临夏路西口清真寺西南侧。城门上皆建城楼。
明孝宗弘治十年（1497年），都指挥梁喧筑东廓外墙360丈。明神宗万历八年（1580年），副使李尧德用砖石砌北城墙，城堞均用砖砌筑。
清代也曾多次修筑兰州城。康熙六年（1667年）、二十四年（1685年），乾隆三年（1738年）、三十八年（1763年），嘉庆十年（1805年）等都进行过修筑。
道光十三年（1833年）陕甘总督杨遇春再次修筑后，将部分城门改名：承恩门改为来煦门、永宁门改为镇远门、崇文门改为皋兰门，外廓（即关城）改天堑门为庆安门、天水门为通济门，永康门为安定门、靖安门为静安门。同治元年（1862年），护陕甘总督恩麟为四内城门各增筑一座瓮城重门，加强和改善了对于内城的防守态势。
至此清兰州城基本定形，共计内城周长6里200步，有10座敌台上建有敌楼，建有垛口1929个；外廓周长18里123步，有6座敌台上建敌楼，有垛口3920个。
解放后，随着城市经济建设的发展，再加之城墙已不能抵御各种现代化的重武器，又因城墙的作用日见衰微，在北京拆除城墙的带动下，兰州也拆除了城墙。当时，有几十万人参与了拆墙，兰州城池的最后一段城墙也于2002年拆除。现在人们已经看不到兰州城池昔日的模样了。