汉武帝初年，匈奴人多次南下入侵汉朝。为了了解敌情，汉武帝经常会见一些投降了的匈奴人，无意中得到了一个非常有利的消息：匈奴冒顿单于当初打败月氏国的时候，曾经很凶残地把月氏王的脑袋砍了下来，用头骨做了一个尿壶。因此，月氏人恨透了匈奴人，但他们力量小，又没人帮助，只好向西方逃去，不过他们一直都想报仇。
汉武帝想：真是太好了！以前打匈奴时，匈奴人败了就跑，很难将他们一网打尽。现在要是跟月氏国联合起来，从两边夹击匈奴，那匈奴就无处可逃了！于是，他下了一道诏书，征求能干的人到月氏去联络。当时，谁也不知道月氏国在哪儿，也不知道有多远。要担负这个任务，必须有很大的勇气。有个勇敢的年轻人，名叫张骞，觉得这是一件有意义的事，首先应征。有他带头，别的人胆子也大了，共有一百名勇士应了征。有个在长安的匈奴族人叫堂邑父，是个神箭手，也愿意跟张骞一起去找月氏国。
公元前138年，张骞带着一百多人的队伍从长安出发了。不久，他们就进入了匈奴人活动的范围。张骞带领手下人正想迅速通过时，不巧被匈奴士兵发现。这一百多人怎么能是匈奴大军的对手！匈奴单于听说抓住了一个汉朝使臣，就问张骞：“你们要到哪个国家去呀？”张骞回答道：“我们要到月氏国去。”单于并没有想到汉使是去联络月氏国攻打匈奴的，但他不允许汉使通过自己的地盘。张骞被留下做了人质，和手下随从去给匈奴的右贤王牧羊。
张骞不甘心失败，一直想逃走。有一天，他和堂邑父等几个人商量好，等匈奴看守放松警惕的时候，偷了几匹骆驼和骏马，向西逃去。大漠一望无边，没有食物和水，张骞等人又渴又饿，一连走了十几天，累得都走不动了。在大家几乎绝望的时候，终于到了一个水草丰美的地方，而且有很多鸟儿和野兽，这时候，堂邑父使出看家本领，箭无虚发，射中很多鸟兽，大伙就生吃了。
翻过葱岭，他们来到了大宛国。这里风乐独特，人也都是高鼻梁、蓝眼睛、大胡子，跟汉朝完全不一样。听说张骞从汉朝来，都非常羡慕，“汉朝又大又美丽，有很多人，是吧？”他们一边询问，一边拿出酒肉招待贵宾。
大宛国王早就听说东方有一个神奇的国家，金银财宝多得用不完，很想和汉朝来往，一听说汉使来了，当然很高兴。张骞举着使节，对大宛王说：“我奉汉朝皇帝的命令，出使月氏国，中途被匈奴人扣留，现在来到贵国，如果大王能派人把我们送到月氏国去，我们汉朝皇帝一定会重重的感谢你们的。”大宛国王说：“当然可以。这儿到月氏国，还要经过康居国，汉使尽可放心，我派骑兵和翻译把你们送去就是了。”
张骞等人到了康居后，康居王也很热情，又派人把他们送到月氏国。再说月氏国，自从被匈奴打败后，向西逃到葱岭，联合大夏国建立了一个国家，叫做大月氏国。这些年来，他们无忧无虑，种地放羊，生活很美满，时间一长，就把报仇的事给忘了。张骞见到月氏国王后，表明自己的来意，劝他和汉朝联合对付匈奴。可是，月氏人总是借口路太远、力量不够来岔开话题，张骞感到很失望。
过了一年多，张骞看到还是不能达到目的，就决定回去了。又吃了不少苦，终于回到了长安。尽管没有完成预期的任务，汉武帝还是非常高兴地重赏了他们。
可是，这次失败的西行，其历史意义却是深远重大的。中国和西亚、欧洲的经济、文化交流极大地发展起来，此后形成的丝绸之路也一直是航海事业没有发达以前东西方最重要的商业通道。