1910年6月1日，霍元甲結合時勢，在農勁蓀等武術界同仁協助下，在上海創辦了“中國精武體操會”（後改名精武體育會）。孫中山先生讚揚霍元甲“欲使國強，非人人習武不可”之信念和將霍家拳公諸於世的高風亮節，親筆寫下了“尚武精神”四個大字，惠贈精武體育會。
當時上海蓬萊路一帶為日僑聚居之地，日本柔道會得知霍元甲勇挫俄、英兩國大力士，今又創立了“精武體操會”，很不服氣, 特從國內選派十幾名武術高手，由柔道會長親自率領來華，以研究為名，請霍元甲等人來技擊館比武，雙方各自擇定公證人。
比賽開始時，霍元甲先命徒弟劉振聲出陣，令其采用誘敵之法，尋機取勝，劉振聲上場後，穩如泰山一般，日方人員認為有機可乘，使用多種招數，竟沒有撼動他。即使日方派出其力氣最大者上陣，也被劉振聲一腳踢得倒地不能動彈。劉振聲以靜製動，以逸待勞，連勝日方五人。日本領隊見此情形非常惱火，便出陣向霍元甲挑戰，二人一經交手，未經幾個回合，日本領隊便領教到霍元甲的厲害，於是企圖暗中傷人，誰知霍元甲已看出破綻，虛顯一招，當場用肘將其臂骨磕斷。日方隊員見此情形，便蜂擁而上，當即被中方公證人製止。這時，日本人改變了策略，在比賽後舉行宴會招待霍元甲。席間聽聞霍元甲患有嗆咳症，並在此次比武中也有外傷，就介紹一名叫秋野的醫生為霍元甲治病。平生胸懷坦蕩的霍元甲毫無懷疑之心，欣然接受。並留住虹口白渡橋的秋野醫院。霍元甲服藥後，病情不但沒有好轉，反而逐漸惡化。此時精武會欲接霍元甲出院，秋野百般阻撓，後經多方周旋才出院，由精武會同仁陳子正救治，因中毒太深而無藥可救，於1910年9月14日長逝於上海精武體育會。霍元甲的徒弟和朋友們拿著霍元甲每日吃的藥去化驗，才知是一瓶慢性爛肺藥，明白了這是日本人暗下的毒手。逝世時年僅42歲。霍元甲逝世後，當時精武會弟子和上海武術界愛國人士為霍元甲舉行了隆重葬禮，敬獻了“成仁取義”挽聯，安葬於上海北郊。轉年，由弟子劉振聲扶柩歸裏，遷葬於小南河村南。上海精武會由元甲之弟元卿、次子東閣任教。各地分會相繼分起，十數年後，海內外精武分會達43處，會員逾40萬之眾。
有傳說霍元甲被日本人下毒藥害死之後，他的愛徒陳真替他報仇。這個傳說在1960年代末70年代初首次被李小龍搬上銀幕（電影《精武門》，李小龍飾陳真）。但其實曆史上並沒有“陳真”這個人物，“陳真”是藝術家們根據劉振聲的若幹事跡塑造出來的，目的是為了讓故事情節更加好看，但是曆史上，劉振聲的確是霍元甲的大弟子，霍元甲被日本人下毒害死也是真實的。1989年修建霍元甲陵園時，對霍元甲遺骨進行化驗，證實是被毒死的。 此外還有有關霍元甲的長篇曆史小說《津門大俠霍元甲》（作者：馮育楠，百花文藝出版社），通過作者考證的一些史料，基本再現了一代大俠霍元甲的風貌。
在國人的印象中，北有霍元甲，南有黃飛鴻，南北雙俠都是中國武林有史可查的大英雄。霍元甲拳打西洋拳師、腳踢東洋武士；黃飛鴻無影腳名揚武林，威震香江。但在走訪了研究中國武林曆史的學者後，人們心目中的兩位英雄被請下了神壇。據史料考證及霍家嫡傳子孫的陳述，霍大俠一生從未登過擂台，更無同海外武士交手的經曆。霍元甲本是天津小南河村的普通農民，業餘時間習武，後來為了生計，輾轉到天津市做買賣。由於霍元甲武術功底好，經常路見不平拔刀相助，因此在天津漸漸有了名氣。
在李連傑主演的電影《霍元甲》中，霍元甲成年後在擂台上連勝38場，隻要再打敗秦爺便可成“津門第一”……影片中，李連傑演繹了霍元甲 “全能武術冠軍”的功底，他用刀、槍、棍、劍力挫四國高手，由私鬥霸主轉變為抗擊外國侵略者的民族英雄……
曆史上，霍元甲僅有兩次打擂的經曆，而這兩次準備與其交手的外國大力士最後都聞風而逃，霍元甲不戰而勝。其一，是1901年，有一俄國人來津在戲園賣藝，他在報紙上發廣告，自稱“世界第一大力士”，打遍中國無敵手。霍元甲看了廣告極為氣憤，並提出要與之決一雌雄。或許是迫於霍元甲的氣勢，“俄國大力士”竟灰溜溜地逃離了天津。由此，霍元甲聲名鵲起。其二，是1909年，英國大力士奧比音在上海登廣告，辱我為“東亞病夫”，霍元甲應友人之邀赴上海比武。懾於霍元甲的威名，奧比音最終未敢交手隨即消失。