華蘅芳的父親看到他兒子對算學有特殊的愛好，就想方設法給華蘅芳弄到許多中周古代算書，其中有《周髀算經》、《九章算術》、《孫子算經》、《五曹算經》、《張丘建算經》、《夏侯陽算經》、《海島算經》、《益古演段》、《測圓海鏡》等。這些算書，都是曆代流傳下來的中國古代算學名著。
我國古代隨著生產的發展和計算經驗的積累，數學逐漸發展起來。春秋時期，已發明了乘法口訣——九九乘法表。《周髀算經》中的髀就是股，書中又有周公問算的內容，所以叫《周髀算經》，這是一部天文、曆算著作，編寫於公元前I世紀以前，記錄了古代早期的一些數學成果。書中說，西周商高講過“勾三股四弦五”，這是勾股定理的一個特例。這說明我國很早就知道勾股定理。勾股定理就是直角三角形斜邊上的正方形的麵積等於兩條直角邊上的正方形麵積的和。中國古代稱兩直角邊為勾和股，斜邊為弦，所以叫勾股定理。勾三殷四弦五，就是：勾3的平方9，加股4的平方16，等於弦5的平方25。據說古希臘的數學家畢達哥拉斯，在證得這個定理的時候，曾宰了100頭牛來表示慶祝，說明了這個定理是很重要的。
《九章算術》是中國古代著名算學著作中的最重要的一種，書中係統地總結了我國東漢初年以前的算學研究成果，對後來我國數學的發展起了極大的影響。《孫子算經》是中國古代算學著作之一。《五曹算經》是中國古代計算物體形狀和土地麵積以及租稅等問題的古代算學著作。《張丘建算經》，因為這本書是北魏時代張丘建所著，從而得名。這本書運用了等級差級數和二次方程等算法，也是我國古代著名算學著作之一。《夏候陽算經》，作者夏侯陽，書中主要記述了唐朝中期流行的有關乘除的簡捷演算法等內容。《海島算經》是三國時期的劉徽所作，這本書是推算物體距離、高、廣等問題，是我國古代著名算學著作之一。《益古演段》是我國早期關於運用高次方程演算法的古代算學著作。《測圓海鏡》是我國古代關於利用高次方程算法來解直角三角形容圓問題的著作。
我國早在兩漢時期就能解一次聯立方程組，當時稱作“方程術”。到了元朝，中國一些數學家又將天元術的原理應用於聯立方程組，先後發明了二元術、三元術和四元術。四元，指的是用天、地、人、物四元表示四元高次方程組。四元術用四元消法解題，其步驟是，先把四元四式消去一元變成三元三式，再消去一元變成二元二式，再消去一元，就得到一個隻含一元的天元開方式，然後用增乘開方求正根。這種演算過程和現代數學中解方程的方法基本一致。而在歐洲，直到18 世紀才由法國數學家別朱係統地敘述了高次方程組消元法問題，比中國數學家的研究成果要晚400餘年。
華蘅芳從1848年起，花了三年時間，鑽研中國古典數學著作。從數理來說，已涉及級數、高次方程等較高深的數學原理，但是以自學方式把這些算書的內容弄明白不是一件簡單的事。為了攻克書中的問題，華蘅芳白天在繁華的街道上靜坐思考，晚問又乘夜班輪，夾在眾人中閉目構思，有意識地鍛煉自己百折不撓的堅韌性格和能在各種環境中鑽研問題的本領。華蘅芳有了頑強的意誌，使他能不畏懼困難，堅持對這些古典數學著作中的許多問題進行研究，而且產生了極大的興趣。例如，《孫子算經》裏記載了我國數學史上很有趣的“孫子問題”。“孫子問題”是這樣表述的：有個數，不知道它是多少，但知道假如三個三個地數，餘二；五個五個地數，餘三；七個七個地數，餘二；問這個數目是多少？《孫子算經》書裏記載有“孫子問題”的解法，宋代人總結為四句詩：三歲孩兒七十稀，五留廿一事尤奇。七度上元重相會，寒食清明便可知。
上元指農曆正月十五，就是元宵節。寒食節剮好是冬至後第105天。第一句是指用“3”數後的餘數去乘70，第二句是指用“5”數後的餘數去乘21，第三句是指用“7”數後的餘數去乘15，第四句是指把乘得的三個結果加起來再減去105的倍數，便得到答案128。
華蘅芳首先攻讀了《九章算術》。因為《九章算術》的內容最多，講述的一些數理和演算法，在其他古代算學著作中也不斷出現，所以這本書的內容在古代算學著作中上下相通，具有代表陛。在搞懂了《九章算術》基本內容後，在這個基礎上，他又對其他各種古算學著作進行了一本本研讀。華蘅芳在繼承前人的算學研究成果的基礎上，通過自己的獨立思考，找到了一把打開中國古代算學堡壘的鑰匙。通曉了我國古代算學後，他開始向近代數學領域艱苦攀登。
從19世紀50年代初開始，西方資本主義國家的近代數學著作代數、幾何、微積分等相繼傳到中國來。但由於當時翻譯水平低，不容易看懂，譯本又少，華蘅芳在學習上有不少困難。但是熱愛數學的華蘅芳，懷著“誌未博通，欲明西學”的渴望，想辦法找書、買書，專心研讀。每次弄到新的西方數學書籍，愛不釋手，廢寢忘食地研讀，努力向近代數學領域挺進。他花了很多錢買到了清朝初期的數學著作《數理精蘊》，書中記載了《幾何原本》的內容。華蘅芳經過對中外數學的分析比較，找到了幾何學與中國古算書的相同點和不同點。他認為，中國古算書，一般用加、減、乘、除和開方的演算方法，就能解開多數的題目。但是要搞通幾何學的數理．單用加、減、乘、除和開方的方法就行不通了，還必須掌握點、線、麵、體的關係及它們的原理。由於接觸到外國的近代數學知識，使他的眼界開闊了，數學知識水平也迅速提高。華蘅芳深深地認識到“算學的奧妙，真是無窮無盡的，要探索這裏邊的奧秘，就得眼向四方。”1855年，華蘅芳和徐壽結伴，來到上海墨海書館。在這裏結識了李善蘭。他們雖然初次見麵，而且李善蘭比華蘅芳大20歲，由於興趣相同，一見如故。李善蘭還向他介紹了偉烈亞力。華蘅芳向李善蘭和偉烈亞力提出了一連串的問題，誠懇地向他們請教。李善蘭熱情地回答了華蘅芳提出的問題，又主動向他介紹了不少數學研究狀況。華蘅芳雖然初次來上海，可是這裏的風光景色，對他似乎沒有一點吸引力，他整天在墨海書館抄錄李善蘭和偉烈亞力合譯的《代微積拾級》等有關數學內容。
1859年，華蘅芳收到了李善蘭贈送的《代微積拾級》一書。華蘅芳為了搞懂書中內容，他再次來到上海墨海書館，向李善蘭求教。回家後的一天傍晚，華蘅芳端著一杯茶水，坐在家中花池旁邊的一塊石頭上，臉麵朝天，陷入深思，猛然看到了一顆星星掛在天空。隨著他的視力逐漸適應，他又看到了第二顆、十幾顆、乃至滿天星鬥。他終於悟出了一個道理，就是做任何事情，一定要克服求之過急的情緒，必須像看星星一樣，一點一點來。從此以後，華蘅芳就集中力量先攻讀《代微積拾級》中的代數，一個公式、一個公式、一道例題、一道例題反複鑽研，一步一步向前探索。一年後，近代代數搞通了一年，又過了一年，書中的微分、積分也初步掌握了。後來，他回顧自己鑽研數學曆程時說：“我掌握代數，曉得微分、積分，飽嚐艱苦。不過從此我的眼界卻大大地開闊了。”經過多的努力，華蘅芳又踏上了世界近代數學的新高點，成為近代中國有名的數學家。