霍元甲死于1910年9月14日，年仅42岁。国人闻此噩耗，无不深感痛惜。霍元甲逝世后，他亲手创立的“中国精武体操会”为他举行了隆重的葬礼，最初的墓地在上海北郊，碑上刻有“大力士霍元甲之墓”八个大字。
霍元甲是怎么死的，大致有两种说法。一种是被日本人害死的。持这种说法且影响最大的，是当时的武侠小说作家平江不肖生笔下写到的霍元甲之死。
从1910年2月起，平江不肖生描写的情形是这样的：
茶房开上晚饭来，霍元甲刚端着饭吃，忽觉得胸脯以下有些胀痛，当下也没说出来，勉强吃了两碗饭，却益发痛得厉害了。他平时每顿需吃三碗多，还得吃五个馒头，这时只吃过两碗饭，实在痛得吃不下了，不得不放碗起身，用手按着痛处，在房中来回地走动。刘振声对于霍元甲的起居饮食，都十分注意，看了这情形，知道霍元甲身体有疾病，连忙也停了饭，跟到房中查看情形。霍元甲身体本甚强健，性情更坚忍，若不是痛苦到不堪忍受，断不肯对人说出来。此时在房中走动得几个来回，只觉越痛越急，竟像是受了重伤。二月间的天气，只痛得满身是汗，手指冰冷，渐渐不能举步了，见刘振声来问，再也忍不住不说了。刘振声吓得叫农爷，农劲荪不懂医理，看了这情形，也惊得不知要如何才好，只得叫客栈里账房就近请来了一个西医，诊脉听肺，闹了半晌，打开药箱，取出一小瓶药水，在霍元甲左臂上注射了一针，留下了几小片白色的药，嘱咐分三次吞下，也没说出是何病症来，连诊金带药费倒要一十八元五角。霍元甲遵嘱服下白色药片，痛苦仍丝毫不减，然经过西医一番耽搁，服药后已到半夜十二点钟了，不好再接医生，农劲荪也不知道哪个医生可靠，胡乱挨过了一夜。次日天明农劲荪让刘振声去请来了针灸名医黄石屏，竟然针到病除。
过得一段时日，（在与人商议创办一个提倡武术的学校时）霍元甲忽就床沿坐下，用手按着胸脯。农劲荪看霍元甲的脸色苍白，双眉紧皱，料知必是身体又发了毛病。刘振声走进房来，一眼见霍元甲的神情脸色，问道：“老师怎么样？那病又发作了吗？”
接着有人劝霍元甲进日本人开设的秋野医院，随即由他陪同去了。秋野一听说是霍元甲，立时显出非常欢迎的态度，仔细诊察了一阵，让霍元甲吃了两片药片，霍元甲胸内疼痛即渐渐减轻，直到完全不痛了。此后，又经过X光的检查，秋野道：“霍先生是大力士，又是大拳术家，身体比普通人壮实，所可异的就在皮肤以内，竟比普通人多一种似膜非膜、似气体又非气体的物质。”
霍元甲道：“练武艺得练成全体皮肤都能抵抗触击，各家各派大概也都差不多。”
秋野吩咐道：“若以霍先生的身体而论，在治疗的时期中，不但不宜多劳动体力，并且不宜多运用脑力，最好能住在空气好的地方，静养一两个月，否则胸脯内疼痛的毛病，是难免再发的。”过了几日，秋野医生来看霍元甲。原来秋野这次来是找霍元甲研究掼跤的，农劲荪道：“秋野先生不是检查了霍先生的身体，宜暂时静养，不宜劳动吗？”霍元甲却不相信不宜劳动的话，加以生性欢喜武艺，不间断地经过三十年了，这种高兴和人较量的习惯，简直已成了第二天性，这时岂肯袖手不动？便将一条板带系在腰间，对秋野说道：“研究拳术，闹着玩玩，你来罢！你用你们柔术的方法，我用我掼跤的方法。”
秋野已有四段的实力，又是医学士，在上海柔术讲道馆中，是最有力量的人物。在上海讲道馆担任教授的，多是秋野的徒弟。这时他从容走近霍元甲身边，平伸两臂，轻轻将霍元甲两膀揪住道：“我国柔术开始就是如此练习，是这般揪住的身法、手法、步法，种类的变化极多。”
霍元甲本来是站着不动，听凭他掀扭摆布。不料，秋野一掌用力太猛，被霍元甲挺得不及退步，一屁股坐在地板上，浑身都震得麻了。秋野满面羞愧，说了几句门面话就告辞走了。
秋野走后，忽见霍元甲脸上，陡然显出一种苍白的病容，用手支着桌子坐着，一言不发，额上的汗珠一颗颗流下来。农劲荪见此状，说道：“可恨秋野这东西，四爷的身体，经他检查过，他是劝告不可劳动，却又生拉活扯地要研究掼跤。本应静养的病，如何能这么劳动？”
成立精武体育会后，霍元甲的胸痛加剧了，只得再到秋野医院去就诊。秋野道：“霍先生不听我的劝告，此刻这病已深入，不易治疗了。”便要霍元甲住院，并说：“要完全治好，大约须两个月以上。”秋野诊治得非常细心，常在霍元甲身边询问病情。
过了一个星期，疗效很好，预料还有几个星期可以出院。谁知日本柔道讲道馆来请霍元甲，秋野便陪同霍元甲前往。讲道馆中与众人寒暄过后，日本柔道高手便与刘振声交了手，一一都败了北。一个叫常磐虎藏的，露出那骇人的赤膊，不找刘振声握手，却直扑霍元甲而来。霍元甲既不情愿打，又不情愿躲避，只得急用两手将他两条臂膀捏住，不许他动，一面向秋野说话，要求秋野劝解。不料常磐被捏得痛入骨髓，用力想挣脱，用力越大，便捏得越紧，一会儿被捏得鲜血从元甲指缝中流出来。元甲一松手，常磐已痛得面无人色，在场的人，谁也不敢再来尝试了。
霍元甲托秋野解释，秋野只管说不要紧，便一齐回了医院。到了夜间八点钟，秋野照例来房中诊察，便现出很惊讶的神气说道：“怎的病症忽然厉害了呢？”霍元甲道：“我此时并不觉得身体上有什么不舒适，大概还不妨事。”
秋野含糊应是，照例替霍元甲打了两针，并冲药水服了，拉刘振声到外边房里说道：“我此刻十分后悔，不应该勉强欢迎贵老师到讲道馆去，如今弄得贵老师的病，发生了绝大的变化，非常危险，你看怎么办？贵老师用力过大，激伤了内部，这是出乎我意料的事，我实在是不能治疗。我看你还是劝你老师退院，今夜就动身回天津去，或者能赶到家乡。”刘振声刚待回答，猛听得霍元甲在房中大喊了一声，那声音与寻常大异，慌忙拉秋野跑过去看时，只见霍元甲已不在床上。倒在地板上乱滚，口里喷出鲜血来，上前问话已不能开口了。秋野又赶着打了一针，口里不喷血了，也不乱滚了，仍抬到床上躺着，不言不动，仅微微有点鼻息。
霍元甲已失了知觉，刘振声只好独自赶到精武体育会，把农劲荪找来，农劲荪虽比刘振声精细，看了种种情形，疑惑突然变症，秋野不免有下毒的嫌疑，但是得不着证据，不敢随口乱说。奄奄一息地延到第二日夜深，可怜这一个为中国武术争光的大英雄霍元甲，已脱离尘世去了，时年才42岁。
支持以上说法者很多，主要因为有上海精武会的史料记载。有关霍元甲逝世前后的情况，上海精武会的史料上是这样说的：“在（上海）王家宅成立了精武体育会后，霍元甲担任武术教练，名声渐大，当时沪上三元里日本人技击馆得知此情后，从日本挑选了十余名柔道高手欲与霍元甲较量，霍偕徒刘振声应邀前往日本技击馆切磋技艺。据记载‘日方突袭元甲，元甲反袭日方……乘势一推，竟跌日本人于天阶中，不幸断其右手，虽无心伤害，终不免于不悦。’从此日本人与霍结下怨恨。正当霍元甲主持精武体育会精心培养骨干，以图大展伟业之时，却遭日本人的陷害。因误服了日本人上门兜售的丹药后咯血病加剧，急送新闸路中国红十字医院医治二周后逝世。据《精武本纪》记载：力士殁之翌晨，秋医（日本医生秋野）已鼠窜归窟，力士门弟子大疑，检力士日服之余药，付公立医院察之，院医曰：“此慢性烂肺药也……”霍元甲自应邀抵沪至被日本人所害，时仅六个月。他的突然逝世，使精武体育会失去了支柱，会务无形停顿。
另一种说法是，霍元甲之死并非日本人所为，而是因病而死。持这种说法的人特别指出：“1912年，著名武侠小说家向恺然（平江不肖生）先后出版《拳术》和《近代侠义英雄传》两部作品。根据传闻，他杜撰出霍元甲之死是被日本医生秋野用毒药毒死，以后人们以讹传讹，事实遂被严重歪曲。”
支持这种说法的根据是，就霍元甲患病及逝世经过，精武体育会创办人之一的陈公哲曾写过以下文字：“霍先生原患有咯血病，自寓所深居时，时发时愈。日本人有卖仁丹药物者，时到旅邸，出药示霍，谓之可愈咯血而治肺病。霍先生信之，购服之后，病转加剧。霍先生得病之由，谓少年之时，曾练气功，吞气横阙，遂伤肺部，因曾咯血，面色蜡黄，故有黄面虎之称。自迁之王家宅后，霍先生病转加剧，由众人送入新闸路中国红十字会医院医治两星期后即行病逝。众人为之办殓，移厝于河北会馆。越一年运柩北返。”
持病死论一说者总结说：“陈公哲是邀请霍元甲来沪的发起人之一，又是霍元甲与奥皮音商量比武事宜的翻译，直至霍病逝，他和霍元甲接触频繁，友谊甚笃。因此，关于霍元甲的死因，陈公哲所述应该是可信的。由此可见，霍元甲不是因为误伤日本柔道家而被日本医生用药毒死的，而是因原患咯血症转剧送医院医治无效而死。”
究竟孰是孰非，霍元甲的死因至今没有定论，我们期待着民族英雄死亡的原因早日被揭开。