马援年轻时有大志，自幼与兄长马况生活。与马援年纪相仿的朱勃十二岁就能背诵《诗经》和《尚书》，经常拜访马况。刚开始读书的马援见朱勃言谈举止温文尔雅，自愧不如。马况察觉到马援的心思，对他说：“朱勃早慧，但非远到之器，聪明才智到这也就差不多尽了。你是大器晚成，将来成就一定在他之上。”朱勃未满二十岁就被征为代理县令，而等到马援拜将封侯的时候，朱勃还只是一个县令。
因为家境贫困，马援辞别兄长，想要去边郡一带种田放牧。马况说：“你是大器晚成的人，能工巧匠不会轻易把还没雕琢好的玉石出示别人。你暂且按照自己的意愿去做自己想做的事吧！”于是马援来到北地种田放牧，他常对宾客说：“大丈夫在穷困的时候，志气应当更加坚定；年老的时候，意气应当更加雄壮。”经过悉心经营，马援很快就拥有数千头牲畜和几万斛粮食。马援感叹说：“财富增长，贵在能够施舍给有需要的人，否则就成守财奴了。”于是将家产全部分给亲友，自己则过着节俭的生活。
王莽新政后，天下大乱。隗嚣割据天水，自称西州上将军。三辅地区的许多士大夫为了躲避战乱，都归附他，隗嚣热忱相待，彼此以朋友之礼相交，所以势力颇为强大。马援听说隗嚣礼贤下士，于是前往投奔。隗嚣对马援非常器重，封他为绥德将军，让他参与筹划大事。
公孙述在蜀中称帝后，隗嚣为了决定去向，派马援去蜀中打探情况。马援和公孙述是同乡，自小便十分要好。马援本以为老朋友见面，公孙述会像往常一样与他握手言欢，畅叙别情。没料到，公孙述摆起皇帝的排场，还要对马援拜将封侯，但都被马援婉言拒绝了。后来，马援又去洛阳面见刘秀，刘秀的平易大度让马援敬佩不已。回到天水后，马援建议隗嚣归附刘秀，于是隗嚣送长子到洛阳做人质，表示归附之意，马援也一同来到洛阳。可不久之后，隗嚣听从部将的建议，割据陇西称帝。马援听说后，多次致信规劝，隗嚣不但不听，反而恼怒马援背叛他。
公元32年，刘秀亲自率军讨伐隗嚣。许多将领认为胜负难卜，皇帝不宜深入险境。刘秀犹豫不决，于是召来马援，征询马援的意见。马援说：“隗嚣内部已经有分崩离析之势，如果这时候率军进攻，必定能大获全胜。”然后马援让人取来一些米，在刘秀面前用米堆成山谷地形，指点双方形势，标示各路部队进退的道路，曲折深隐毕现。马援反复为刘秀分析，战局十分清晰，刘秀高兴地说：“敌人的情况都在我的眼里了！”于是刘秀决意进军，很快就迫降隗嚣十万余众。
公元35年，刘秀任命马援为陇西郡守。从王莽末年开始，塞外羌族不断侵扰边境，官府制止不了。马援上任后，立即整顿兵马，率三千步骑出击羌人，迫使八千多羌人投降。此战中，马援身先士卒，小腿被流矢贯穿。刘秀得知后，立即派人前往慰问，赐给他牛羊数千头。马援像往常一样，把这些都分给了部下。两年之后，羌人再次兴兵来犯。马援率四千人前往征剿，大败羌人，受降一万多人。从此，陇右一带太平无事。
马援在陇西太守任上一共六年，对待部下宽大仁厚，所以部下都愿为其效力。在处理政务方面，马援注重分工明确，自己则总揽大局，手下官吏向他汇报公事，他会说：“这是某某官员的分内之事，不用来麻烦我。可怜可怜我这个老头子，让我尽情游玩吧！至于太守的分内之事，是治理那些欺负百姓的豪强或者贪赃枉法的官吏。”
一次，在靠近县城的地方，有人为报私仇，发生械斗。事情被误传为羌人来犯，百姓惊慌不已，全部涌入城内。狄道县县令闻变，火速赶往太守府，请求关闭城门，整兵备战。当时马援正在和宾客喝酒，大笑着对惊慌不已的狄道县县令说：“羌人哪里敢再来侵犯我？你回去守着官府就行，如果实在害怕，就躲在床底下别出来。”不久，情况逐渐稳定下来，众人才知道是虚惊一场，对马援都佩服不已。
公元41年，越人征侧与征贰姐妹在交趾（今越南境内）称王，公开反叛东汉朝廷。刘秀任命马援为伏波将军，领兵南征交趾。马援沿着大海进军，长驱一千多里与征侧交战。汉军大破敌军，斩首数千，收降一万多人。马援乘胜追击，诛杀征侧、征贰姐妹，将首级传到洛阳，于是全境平定。马援因地制宜，参照东汉法律对越人进行治理，越人深感便利，以后一直沿用马援制定的制度。
马援得胜之后，被封为新息侯，凯旋之日，众多亲朋故友前去迎接。以富有计谋而闻名的孟冀在席间祝贺他，认为他功成名就，可以安享晚年了，马援回答说：“现在匈奴、乌桓还在侵扰北部边疆，我想请求出兵讨伐。男子汉只应战死沙场，用马革裹尸送回家乡安葬，怎么能躺在床上，死在儿女身边呢？”孟冀叹服说：“确实如此！做烈士就应当这样！”
不久之后，武陵蛮人发动叛乱，刘秀派去的平叛部队因为冒进深入而全军覆没。马援听说后，请命出征。此时马援已经六十二岁，刘秀认为他年事已高，不肯答应。马援不服老，对刘秀说：“我还可以披坚执锐，驰骋疆场。”于是披挂上马，向刘秀展示身手。刘秀笑着说：“真是一个精神矍铄的老翁啊！”于是应允马援出征之请。
马援率军直入，斩获蛮兵两千余人后，继续向前推进。进入蛮界，有两条路可以走：一条路近但是地势险峻，一条路远但是地势平坦。马援选择了近路，但是险要之处均有蛮兵把守，汉军难以行进。当时天气十分闷热，许多士兵都患上瘟疫，马援也被传染，但是他仍旧蹒跚着察看敌情，军中将士无不感动落泪。军队滞留不前，马援的副将上书朝廷，将行军失利的责任全部推给马援。刘秀得知后，派梁松前去责问马援。梁松赶到军中时，马援已经去世。梁松曾与马援结怨，于是趁机诬陷马援。刘秀大怒，下令收回马援新息侯的印绶。
马援的妻子儿女感到害怕，不敢将马援的灵柩运回祖坟安葬，而是草草埋葬，马援的亲朋故友也不敢上门吊唁。后来事情水落石出，刘秀才知道错怪了马援。
汉明帝时期，马援的女儿被立为皇后，即史上有名的马皇后。明帝命人将东汉开国功臣名将的画像悬置于云台，即“云台二十八将”，为了避嫌，没有将马援列入其中。东平王刘苍观看画像后问：“为何不画伏波将军像？”明帝笑而未答。
隗嚣：出身陇右大族，以知书通经闻名。更始政权建立后，隗嚣趁机割据一方，后来被光武帝刘秀所困，病死军中。
马皇后：马援的小女儿，因为品行高尚成为汉明帝的皇后，是历史上难得的贤明皇后。