海亚姆早期的数学著作已经散失，仅《算术问题》的封面和几片残页保存在荷兰的莱顿大学。幸运的是，他最重要的一部著作《代数学》流传下来了。1851年，此书被F·韦普克从阿拉伯文翻译成了法文，书名叫《欧玛尔·海亚姆代数学》，虽然没赶上12世纪的翻译时代，但比他的诗集《鲁拜集》的英文版还是早了8年。1931年，在海亚姆诞辰8百周年之际，由D·S·卡西尔英译的校订本《欧玛尔·海亚姆代数学》也由美国哥伦比亚大学出版了。我们今天对海亚姆数学工作的了解，主要是基于这部书的译本。
在《代数学》的开头，海亚姆首先提到了《算术问题》里的一些结果。“印度人有他们自己开平方、开立方的方法，……我写过一本书，证明他们的方法是正确的。我并加以推广，可以求平方的平方、平方的立方、立方的立方等高次方根。这些代数的证明仅仅以《原本》里的代数部分为依据。”这里海亚姆提到他写的书应该是指《算术问题》，而《原本》即欧几里得的《几何原本》，这部希腊数学名著在9世纪就被译成阿拉伯文，而意大利传教士利玛窦和徐光启合作把它部分译成中文已经是17世纪的事情了。
海亚姆所了解的“印度算法”主要来源于两部早期的阿拉伯著作《印度计算原理》和《印度计算必备》，然而，由于他早年生活在连接中亚和中国的古丝绸之路上，很可能也受到了中国数学的影响和启发。在至迟于公元前1世纪就已问世的中国古代数学名著《九章算术》里，给出了开平方和开立方的一整套法则。在现存的阿拉伯文献中，最早系统地给出自然数开高次方一般法则的是13世纪纳西尔丁编撰的《算板与沙盘算术方法集成》。书中没有说明这个方法的出处，但由于作者熟悉海亚姆的工作，因此数学史家推测，极有可能出自海亚姆。可是，由于《算术问题》失传，这一点已无法得到证实。
海亚姆在数学上最大的成就是用圆锥曲线解三次方程，这也是中世纪阿拉伯数学家最值得称道的工作。所谓圆锥曲线就是我们中学里学到过的椭圆（包括圆）、双曲线和抛物线，可以通过圆锥与平面相交而得。说起解三次方程，最早可追溯到古希腊的倍立方体问题，即求作一立方体，使其体积等于已知立方体的两倍，转化成方程就成了x3=2a3。公元前4世纪，柏拉图学派的门内赫莫斯发现了圆锥曲线，将上述解方程问题转化为求两条抛物线的交点，或一条抛物线与一条双曲线的交点。这类问题引起了伊斯兰数学家极大的兴趣，海亚姆的功劳在于，他考虑了三次方程的所有形式，并一一予以解答。
具体来说，海亚姆把三次方程分成14类，其中缺一、二次项的1类，只缺一次项或二次项的各3类，不缺项的7类，然后通过两条圆锥曲线的交点来确定它们的根。以方程x3+ax=b为例，它可以改写成x3+c2x=c2h，在海亚姆看来，这个方程恰好是抛物线x2=cy和半圆周y2=x(h-x)交点C（如图）的横坐标x，因为从后两式消去y，就得到了前面的方程。不过，海亚姆在叙述这个解法时全部采用文字，没有方程的形式，让读者理解起来非常不易，这也是阿拉伯数学后来难以进一步发展的原因之一。
海亚姆也尝试过三次方程的算术（代数）解法，却没有成功。但他在《代数学》中预见到，“对于那些不含常数项、一次项或二次项的方程，或许后人能够给出算术解法。”五个世纪以后，三次和四次方程的一般代数解法才由意大利数学家给出。而五次或五次以上方程的一般解法，则在19世纪被挪威数学家阿贝尔证明是不存在的。值得一提的是，解方程在欧洲的进展并不顺利。意大利几位数学家因为抢夺三次和四次方程的发明权闹得不可开交，甚至到了反目成仇的地步，而阿贝尔的工作至死都没有被同时代的数学家认可。
在几何学领域，海亚姆也有两项贡献，其一是在比和比例问题上提出新的见解，其二便是对平行公理的批判性论述和论证。自从欧几里得的《几何原本》传入伊斯兰国家以后，第五公设就引起数学家们的注意。所谓第五公设是这样一条公理，“如果一直线和两直线相交，所构成的两个内角之和小于两直角，那么，把这两条直线延长，它们一定在那两内角的一侧相交。”这条公理无论在叙述和内容方面都比欧氏提出的其他四条公设复杂，而且也不是那么显而易见，人们自然要产生证明它或用其他形式替代的欲望。需要指出的是，18世纪的苏格兰数学家普莱菲尔将其简化为如今的形式，即过直线外一点能且只能作一条平行线与此直线平行，但仍然不那么自明。
1077年，海亚姆在伊斯法罕撰写了一部新书，书名就叫《辩明欧几里得几何公理中的难点》，他试图用前四条公设推出第五公设。海亚姆考察了四边形ABCD，如图所示，假设角A和角B均为直角，线段CA和DB长度相等。海亚姆意识到，要推出第五公设，只需证明角C和角D均为直角。为此，他先后假设这两个角为钝角、锐角和直角，前两种情况均导出矛盾。有意思的是，这种处理问题的方式与19世纪才诞生的非欧几何学有着密切的联系。事实上，假设前两种情况为真，就可以直接导出非欧几何学，后者是现代数学最重要的发现之一。
遗憾的是，海亚姆并没有意识到这一点，他的论证注定也是有缺陷的。他所证明的是，平行公设可以用下述假设来替换：如果两条直线越来越接近，那么它们必定在这个方向上相交。值得一提的是，非欧几何学发明人之一的俄国人罗巴切夫斯基也生活在远离西方文明的喀山。喀山是少数民族聚集的鞑靼自治共和国的首府，与伊斯法罕同处于东经50度附近，只不过喀山在里海的北面，而伊斯法罕在里海的南面。尽管海亚姆没有能够证明平行公设，但他的方法通过纳西尔丁的著作影响了后来的西方数学家，其中包括17世纪的英国人、牛顿的直接前辈——沃利斯。
除了数学研究以外，海亚姆在伊斯法罕还领导一批天文学家编制了天文表，并以庇护人的名字命名之，即《马利克沙天文表》，现在只有一小部分流传下来，其中包括黄道坐标表和一百颗最亮的星辰。比制作天文表更重要的是历法改革，自公元前1世纪以来，波斯人便使用琐罗亚斯德教（创立于公元前7世纪）的阳历，将一年分成12月365天。阿拉伯人征服以后，被迫改用回历，即和中国的阴历一样：大月30天，小月29天，全年354天。不同的是，阴历有闰月，因而与寒暑保持一致；而回历主要为宗教服务，每30年才加11个闰日，对农业极为不利，盛夏有时在6月，有时在1月。
马克利沙执政时，波斯人已经重新启用阳历，他在伊斯法罕设立天文台，并要求进行历法改革。海亚姆提出，在平年365天的基础上，33年闰8日。如此一来，一年就成了365又8/33天，与实际的回归年（地球绕太阳自转一圈所用时间）误差不到20秒，即每4460天才相差一天，比国际上现行普遍使用的公历（又称格里历，400年闰97日，1582年由罗马教皇格里高利颁布，但非天主教国家如英、美、俄、中等国迟至到18、19甚或20世纪才开始实行）还要精确，后者每3333年相差一天。特别值得注意的是，如果把回归年的小数部分按数学的连分数展开，其渐近分数分别为
1/4，7/29，8/33，31/128，132/545，……
第一个分数1/4相当于四年闰一日，对应于古罗马独裁者凯撒颁布的儒略年，每128年就有一天误差。海亚姆的历法对应的是第三个分数，即8/33。由此可见，海亚姆制订的历法包含了最精确的数学内涵，如果限定周期少于128年，则33年闰8日是最好可能的选择。他以1079年3月16日为起点，取名“马利克纪年”，可惜随着庇护人的去世，历法工作半途夭折了，而那个时候世界各国使用的阳历误差已多达十几天了。海亚姆感到无奈，他在一首四行诗中发出了这样的叹息（《鲁拜集》第57首），
啊，人们说我的推算高明
纠正了时间，把年份算准
可谁知道那只是从旧历中消去
未卜的明天和已逝的昨日