海亞姆早期的數學著作已經散失，僅《算術問題》的封麵和幾片殘頁保存在荷蘭的萊頓大學。幸運的是，他最重要的一部著作《代數學》流傳下來了。1851年，此書被F·韋普克從阿拉伯文翻譯成了法文，書名叫《歐瑪爾·海亞姆代數學》，雖然沒趕上12世紀的翻譯時代，但比他的詩集《魯拜集》的英文版還是早了8年。1931年，在海亞姆誕辰8百周年之際，由D·S·卡西爾英譯的校訂本《歐瑪爾·海亞姆代數學》也由美國哥倫比亞大學出版了。我們今天對海亞姆數學工作的了解，主要是基於這部書的譯本。
在《代數學》的開頭，海亞姆首先提到了《算術問題》裏的一些結果。“印度人有他們自己開平方、開立方的方法，……我寫過一本書，證明他們的方法是正確的。我並加以推廣，可以求平方的平方、平方的立方、立方的立方等高次方根。這些代數的證明僅僅以《原本》裏的代數部分為依據。”這裏海亞姆提到他寫的書應該是指《算術問題》，而《原本》即歐幾裏得的《幾何原本》，這部希臘數學名著在9世紀就被譯成阿拉伯文，而意大利傳教士利瑪竇和徐光啟合作把它部分譯成中文已經是17世紀的事情了。
海亞姆所了解的“印度算法”主要來源於兩部早期的阿拉伯著作《印度計算原理》和《印度計算必備》，然而，由於他早年生活在連接中亞和中國的古絲綢之路上，很可能也受到了中國數學的影響和啟發。在至遲於公元前1世紀就已問世的中國古代數學名著《九章算術》裏，給出了開平方和開立方的一整套法則。在現存的阿拉伯文獻中，最早係統地給出自然數開高次方一般法則的是13世紀納西爾丁編撰的《算板與沙盤算術方法集成》。書中沒有說明這個方法的出處，但由於作者熟悉海亞姆的工作，因此數學史家推測，極有可能出自海亞姆。可是，由於《算術問題》失傳，這一點已無法得到證實。
海亞姆在數學上最大的成就是用圓錐曲線解三次方程，這也是中世紀阿拉伯數學家最值得稱道的工作。所謂圓錐曲線就是我們中學裏學到過的橢圓(包括圓)、雙曲線和拋物線，可以通過圓錐與平麵相交而得。說起解三次方程，最早可追溯到古希臘的倍立方體問題，即求作一立方體，使其體積等於已知立方體的兩倍，轉化成方程就成了x3=2a3。公元前4世紀，柏拉圖學派的門內赫莫斯發現了圓錐曲線，將上述解方程問題轉化為求兩條拋物線的交點，或一條拋物線與一條雙曲線的交點。這類問題引起了伊斯蘭數學家極大的興趣，海亞姆的功勞在於，他考慮了三次方程的所有形式，並一一予以解答。
具體來說，海亞姆把三次方程分成14類，其中缺一、二次項的1類，隻缺一次項或二次項的各3類，不缺項的7類，然後通過兩條圓錐曲線的交點來確定它們的根。以方程x3+ax=b為例，它可以改寫成x3+c2x=c2h，在海亞姆看來，這個方程恰好是拋物線x2=cy和半圓周y2=x(h-x)交點C(如圖)的橫坐標x，因為從後兩式消去y，就得到了前麵的方程。不過，海亞姆在敘述這個解法時全部采用文字，沒有方程的形式，讓讀者理解起來非常不易，這也是阿拉伯數學後來難以進一步發展的原因之一。
海亞姆也嚐試過三次方程的算術(代數)解法，卻沒有成功。但他在《代數學》中預見到，“對於那些不含常數項、一次項或二次項的方程，或許後人能夠給出算術解法。”五個世紀以後，三次和四次方程的一般代數解法才由意大利數學家給出。而五次或五次以上方程的一般解法，則在19世紀被挪威數學家阿貝爾證明是不存在的。值得一提的是，解方程在歐洲的進展並不順利。意大利幾位數學家因為搶奪三次和四次方程的發明權鬧得不可開交，甚至到了反目成仇的地步，而阿貝爾的工作至死都沒有被同時代的數學家認可。
在幾何學領域，海亞姆也有兩項貢獻，其一是在比和比例問題上提出新的見解，其二便是對平行公理的批判性論述和論證。自從歐幾裏得的《幾何原本》傳入伊斯蘭國家以後，第五公設就引起數學家們的注意。所謂第五公設是這樣一條公理，“如果一直線和兩直線相交，所構成的兩個內角之和小於兩直角，那麼，把這兩條直線延長，它們一定在那兩內角的一側相交。”這條公理無論在敘述和內容方麵都比歐氏提出的其他四條公設複雜，而且也不是那麼顯而易見，人們自然要產生證明它或用其他形式替代的欲望。需要指出的是，18世紀的蘇格蘭數學家普萊菲爾將其簡化為如今的形式，即過直線外一點能且隻能作一條平行線與此直線平行，但仍然不那麼自明。