胡觉三是湖北省荆州地区人。小时家境不算富足却也过得去，因而读过几年书。
1928年，贺龙、周逸群、段德昌等领导湘鄂西工农群众创建了由监（利）、潜（江）、沔（阳）等县组成的洪湖苏区。1931年，长江决堤，洪水泛滥，贺龙领导红军抗洪赈灾，日夜抢筑“红军堤”，保住了成千上万的生命，当地百姓纷纷传言“贺龙是条活龙，能治水消灾”。读过书的胡觉三自然不信什么“活龙”的传说，但他从贺龙和红军的身上看到了力量和希望，于是参加了红军。
胡觉三参加红军后，在战斗中迅速成长。1935年11月，红二、六军团从湘西出发长征，胡觉三当时已是六师一名优秀的连指导员了。在长征途中，他像兄长一样爱护连队的每一个战士。打仗时，他冲在前头；行军时，他走在后尾；在雪山顶上，他帮助体弱者闯过去；过草地时，他把最后一把炒面给了饿倒在路边的同志。
当红二、六军团在陕西富平县一带驻扎下来，进行全面的军政整训时，胡觉三在连队认真宣传党中央的主张，给连队上时事、地理课，讲解日本帝国主义不仅侵占了东北三省，又侵入了华北。他在连队建立了“列宁”室，教唱抗日救亡歌曲，教不识字的战士学文化，并把党的主张编成浅显的识字课本，使战士们连识字连记住这些道理。
实现国共合作后，红军部队进行改编。胡觉三任八路军一二○师三五八旅七一六团三营十一连政治指导员。1937年9月3日，一二○师从陕西富平县庄里镇出发开赴山西抗日前线。
当时国民党部队撤到宁武关、雁门关、平型关一线的内长城设防，后又退守忻口。当一二○师赶到宁武一带时，这里已成了敌后，一二○师遂担负起在敌后开展游击战争，策应忻口会战的任务。
10月的一天，七一六团驻进被日军洗掠过的宁武县城。站在古城楼下，胡觉三被眼前所看到的景象惊呆了：街头、树上到处是同胞们的尸体，最惨的是有的小孩被敌人摔得脑浆迸流，有的被撕成两半。当指战员走进居民院内，看到有的老头、老太太双双自缢在屋梁下；有的一家人被活活埋在贮存菜的地窑里。炊事班去打水做饭，井里填满了死人，好端端的一座城，变成了一座血城。日本侵略军的残暴行为，激起了战士们的无比仇恨。
十一连连部住在一位死里逃生的老太太家中。她拉住胡觉三的衣襟，欲哭无泪，声音嘶哑地诉说着日军的暴行。她全家八口被杀了七口，就连三岁的小孩子也被日本兽兵用刺刀戳死了。胡觉三和全连的同志都是在战场上九死一生的硬汉子，目睹惨死的同胞一个个都失声恸哭。
战士们发誓要亲手打死几个日本鬼子，讨还这笔血债！胡觉三代表全连给团里写了请战书，表达了杀敌复仇的急迫心情。
不久，七一六团受命在雁门关地区执行袭扰、切断日军交通运输线的任务。团部即率三营向雁门关疾进。
雁门关座落在代县西北的雁门山上，自古以来就是长城的一个重要关塞，又是联结雁北与晋中的交通要道，一条公路从山脚下经过，北达塞上煤都大同，南入省城太原。攻进山西的日军正是凭借这条公路继续南侵的。
经过两天急行军，七一六团插到雁门关西南十多里的老窝村。此时正值秋收时节，老乡们为了躲避日军烧杀四处逃匿，山坡上的莜麦已熟透，却无人收割。部队驻下后，按照上级的统一部署，胡觉三带着连里的群众工作小组，把出村躲避敌人的老乡找回来，帮助他们收割莜麦，并宣传组织起来打日本的道理。老乡们看到八路军真心实意地要打敌人，主动通风报信，监视公路，介绍地形。在群众帮助下，七一六团很快查明了日军汽车运输的规律：自从忻口战役打响后，几乎每天都有日军车队经雁门关往返，少则几十辆，多则上百辆，从大同向忻口运送兵员和弹药，从忻口向大同拉回伤兵。因此，团里计划在雁门关南山脚下的黑石头沟伏击日军的汽车队。
为了打好这一仗，团部召集连以上干部开会，进行研究和动员。团长贺炳炎简要介绍了敌我情况。团政委廖汉生问大家：“你们说打不打？”政委的话音刚落，三营营长王祥发霍地站起来，他没有直接回答政委的问话，而是控诉日军在宁武犯下的罪行，他气愤地说：“要叫敌人以血还血，为死难同胞报仇，这是我的决心，也是全营同志的决心！”
胡觉三也站起来，激动地说：“我代表全连同志，请求上级把最艰巨的任务交给我们！我们一定把雁门关变成日本侵略军的鬼门关！”
会后，贺炳炎团长、廖汉生政委带着干部去黑石头沟堪察地形，布置任务。
回到连里，胡觉三和连长宋发富传达了上级指示和战斗方案，向全连作战前动员，提出战斗口号：“打好抗日第一仗，为死难同胞报仇！”
10月18日凌晨，部队从老窝村出发，沿着羊肠小道隐蔽地进入黑石头沟。此沟北高南低，沟底尽是被山洪冲积的乱石，沟南端是一座石拱桥，公路顺沟穿过。部队就埋伏在沟西的山上，十一连靠近石拱桥，负责扼住“咽喉”部位。
胡觉三和宋发富安排好各班排的伏击位置，把全连的机关枪集中摆在山头。战士们的情绪都很高，手榴弹揭开了盖，子弹压进了膛，刺刀拔出了鞘，许多人还把长征中用过的大刀背了来，在阵地后面埋锅做饭的炊事员们也全部上了阵地。按照以往打仗的习惯，胡觉三主动到突击排去，他背着大刀、拎着手枪到了三排阵地。
上午10时左右，远远传来汽车的马达声，山顶观察哨报告，约有百十辆汽车从南边开来。过了一会儿，车队拐过石拱桥，缓缓爬上陡坡，进入我军伏击地段。担任护卫的武装士兵，在车头上架着机枪，哇啦哇啦地说笑着，如入无人之境。
“打！”随着贺炳炎团长一声令下，我军阵地便喷射出密集的火网。骄横的日军万万没有想到在“后方”会突遭到这样猛烈的袭击，汽车有的打着火了，有地一头冲入乱石滩，车上的敌兵不顾死活地往下滚。
这时，营长王祥发把驳壳枪一挥，发出了冲锋的命令。十一连如猛虎一般顺着山势扑了下去。我军把日军压在沟里的汽车底下。日军在一阵混乱之后，很快清醒过来，伏在车下用机枪向山上扫射。但这丝毫不能挡住冲锋的势头，战士们一边甩着手榴弹，一边冲到汽车前。日军又从车下钻了出来，一个个瞪着眼嚎叫着，端着刺刀作拼死的抵抗。我军指战员一见到敌人猖狂狰狞的面孔，复仇的怒火一下子涌上心头，迎着敌人猛冲上去，有的用大刀砍，有的用枪托砸，战斗十分激烈。
战斗中，胡觉三发现三排的一个战士被三名日本兵死死围住，处境十分危险，他手提大刀冲过去，乘敌不备从后面劈倒一个，接着刀光一闪，又砍翻了另一个，剩下的一个日本兵也被那个战士刺死了。
大部分日军被消灭了，只剩下少数还在顽抗。胡觉三扫视了一下战场，忽然看到一个日本兵龟缩在车子下，他喊了一声：“缴枪不杀！”迈步上前正要抓活的，被那家伙一枪打中了胸膛。连长宋发富扶住胡觉三，呼唤着，胡觉三吃力地说：“坚决打！为宁武老乡们报仇！”没来得及包扎伤口，他就停止了呼吸。指导员的牺牲更加激怒了十一连的全体战士，他们高喊着：“为指导员报仇”的口号扑向残敌。这一仗，击毁敌军车数十辆，截断了敌人的后方交通运输线，有力地配合了忻口战役。但胡觉三所在的十一连也付出了巨大牺牲，全连只剩下了七个人。