公元前121年建立酒泉郡之后，汉武帝就开始修筑令居（今永登）以西的亭、障、塞。所谓“塞”即为长城，“亭”和“障”即烽燧墩，大的叫障，小的叫亭。由候官、候长率领戍卒防守，负有垦田生产、打仗保边的双重任务。
汉武帝元封年间（前110-105年）开始修筑酒泉以西的边塞，“酒泉列亭障至玉门矣。”
据《汉书·充国传》载：“自敦煌至辽东一万一千五百余里，乘塞列地有吏卒数千人。”《汉书·西域传》也载：“自贰师将军伐大宛之后，西域震惧，多遣使来贡献，汉使西域者益得职，于是自酒泉敦煌西止盐泽，往往有亭。”
敦煌西止罗布泊一段长城在太初年间已完成。今敦煌西北戈壁滩上，东起安西东碱墩，沿疏勒河南岸逶迤北上，蜿蜒朝西……正西直入盐泽，绵延百余里，都有汉长城和烽燧遗址，说明汉代对酒泉经营的高度重视，长城是伟大中华民族坚强毅力的象征。
汉长城多经过芦苇遍布的沼泽地带，因此修筑多为一层泥沙、一层芦苇夯实而成。因泥沙中所含的盐碱胶凝结后非常坚固，至今仍有大段城墙保存完好。特别是玉门关外10余公里的一段汉长城保存极为完整。其残垣高达4米，夯筑土层清晰，以黄土为基础，芦苇、红柳、胡杨、罗布麻等为辅料，层厚5厘米，砂土层厚20厘米，粘结牢固。土坯垒砌的烽燧台墩依然存在，高者可达10米，有些地方当年备用的燃烟积薪仍在。从金塔县西行经桥湾、安西至敦煌玉门关（敦煌西北90余里处的小方城）。这段长城在金塔县上下夹墩湾分道：一道东南行，过大茨湾，在高台县内接汉长城东段；另一道北上直抵居延城（今额济纳旗东，进素图海子西）。酒泉至敦煌段长城为元封3年（公元前108年），赵破奴攻破楼兰后修筑而成的。当时酒泉、敦煌两郡北部的马鬃山以北，弱水以西地区仍为匈奴所占据。
匈奴可南越马鬃山，或东抵居延海，再顺弱水谷地南下进入河西。