连三位数的混合运算都算不明白,ChatGPT 对数学家来说有用吗?
ChatGPT 不擅长数学,这是大家刚开始测试时就发现的问题。比如你问它一个「鸡兔同笼」问题,它可能写出一个看上去非常有条理的解题过程,但仔细一看,答案却是错的。
为了解决这个问题,OpenAI 也做了一些优化,并在今年 1 月末宣布 ChatGPT 数学能力升级。但从测试的结果来看,这次升级效果并不明显。
但这么一个连三位数混合运算都算不明白的工具却吸引了著名数学家陶哲轩的注意。最近一段时间,他似乎一直在探索 ChatGPT 能帮数学研究者做些什么。
通常来讲,如果你经常阅读数学文本,你会很容易找到一些线索,这些线索可以帮你评估某个特定论证部分的有效性、深度和重要性。这会加快你的阅读速度,让你可以迅速分离出论文的「肉」。陶哲轩总结说。
但 AI 生成的数学文本给了他截然不同的阅读体验:文本乍一看很有说服力,但只有慢慢地逐行阅读才能发现其中的缺陷。
在一次测试中,它向 ChatGPT 提了一个数学问题。乍一看,答案惊人地准确,因为它提到了一个高度相关的术语,还讨论了一个例子,这在一个有意义的答案中是非常典型的。但其实,ChatGPT 给出的答案并不完全正确:公式是对的,但不是有用的定义,例子也是错的。
在另一个关于「素数是否无穷多」的证明问题中,ChatGPT 给出的答案也并不完全正确。
虽然测试结果不太令人满意,但陶哲轩并没有对 ChatGPT 持完全否定的态度。他认为,像 ChatGPT 这类大型语言模型在数学中可以用来做一些半成品的语义搜索工作,也就是用它来生成一些提示。
比如在下面这个例子中,陶哲轩提出的问题是:「我在寻找一个关于 xx 的公式。我想这是一个经典的定理,但我不记得名字了。你有什么印象吗?」在这轮问答中,虽然 ChatGPT 没能给出正确答案(库默尔定理),但根据它给出的近似答案(Legendre 公式),我们可以结合传统搜索引擎轻松找到正确答案。
从这些测试中,我们可以看到 ChatGPT 这类 AI 工具与传统计算机软件的区别。
传统的计算机软件类似于函数