祖冲之在数学上的杰出成就,是关于圆周率的计算。秦汉以前,人们以"径一周三"做为圆周率,这就是“古率”。后来发现古率误差太大,圆周率应是“圆径一而周三有余”,不过究竟余多少,意见不一。
直到三国时期,刘徽提出了计算圆周率的科学方法--“割圆术”,用圆内接正多边形的周长来逼近圆周长。刘徽计算到圆内接96边形,求得π=3.14,并指出,内接正多边形的边数越多,所求得的π值越精确。
祖冲之在前人成就的基础上,经过刻苦钻研,反复演算,求出π在3.1415926与3.1415927之间。并得出了π分数形式的近似值,取为约率,取为密率,其中取六位小数是3.141929,它是分子分母在1000以内最接近π值的分数。
祖冲之究竟用什么方法得出这一结果,现在无从考查.若设想他按刘徽的“割圆术”方法去求的话,就要计算到圆内接16,384边形,这需要化费多少时间和付出多么巨大的劳动啊！由此可见他在治学上的顽强毅力和聪敏才智是令人钦佩的。祖冲之计算得出的密率,外国数学家获得同样结果,已是一千多年以后的事了。为了纪念祖冲之的杰出贡献,有些外国数学史家建议把π=叫做“祖率”。
祖冲之博览当时的名家经典,坚持实事求是,他从亲自测量计算的大量资料中对比分析,发现过去历法的严重误差,并勇于改进,在他三十三岁时编制成功了《大明历》,开辟了历法史的新纪元。
祖冲之还与他的儿子祖暅（也是我国着名的数学家）一起,用巧妙的方法解决了球体体积的计算。他们当时采用的一条原理是：“幂势既同,则积不容异。”意即,位于两平行平面之间的两个立体,被任一平行于这两平面的平面所截,如果两个截面的面积恒相等,则这两个立体的体积相等。这一原理,在西文被称为卡瓦列利原理,但这是在祖氏以后一千多年才由卡氏发现的。为了纪念祖氏父子发现这一原理的重大贡献,大家也称这原理为“祖暅原理”。