陶哲轩：AI如何永远改变数学和科学

几个世纪以来，科学和数学发生了很大变化。

传统上，科学的两个主要范式是理论和实验。你会提出理论（如开普勒提出行星运动理论或牛顿提出引力理论），然后有实验数据——进行实验看看发生什么，然后尝试看理论和实验是否吻合。数学略有不同，几乎完全是理论——纯粹数学中做的实验非常非常少。有一些，例如高斯计算了前十万个素数，这是他用做预测的数据集——他预测了我们现在称为素数定理的内容。但理论和实验是科学的两种主要形式。

后来出现了模拟——你不必做大规模昂贵实验，有时可以模拟，比如在超级计算机中模拟飓风而不是在现实中。再后来出现了大数据——与其只做少量实验来确认或反驳某个特定理论，你可以拿兆字节或拍字节的数据，试图识别模式，从海量数据中提取规律。这是更新兴的科学类型。

但现在所有这些科学模式都在被转变，因为我们现在也有AI来帮助我们。

在过去，每一种做科学的方式都必须由人类科学家完成——你必须有某人做实验，或某人做理论计算，或运行模拟，或处理数据。你可以用计算机做其中一些，但即使那样你也得编写数据分析工具等，仍然需要大量专业知识。

我们现在有自动化实验室可以自动做实验；你可以让编码代理为你运行模拟；你也可以尝试自动数据分析；而且越来越多地，你也可以做自动理论——取某个数学问题，问这些假设和公理的后果是什么，应得什么结论。这些工具现在可以大规模运行，速度快得多——可以运行比任何人类科学家多得多的理论分析。

另一方面，这不是我们唯一想要的。慢速做事也有价值。一个科学家花几个小时在纸上算，在野外亲手做实验，实际调试模拟，他们常常学到很多超出得到答案的额外洞察。他们可以发现新现象，看到联系，看到与文献中先前研究过的某些东西的相似性，并能与其他交流他们的发现。

所以存在悖论：一方面AI变得更强大、更有能力、犯错更少，表面上实现了我们认为科学家试图做的许多目标——运行实验、分析数据、写论文。但可能代价是AI获得了一些技能，但人类科学家在科学上并没有变得更好。没有人能准确交流发生了什么，为什么这个科学发现有趣，为什么这个证明是新的，它有什么特点以及如何联系。

我们可能需要重新设计我们对科学的观念，以及我们实际上想从科学中得到什么。科学到底是为了什么？我们试图做什么？当我们把AI工具指向科学时，是否会带来我们正在优化错误的危险？

我过去做过一个类比：科学有点像去远足。你听说外面有个有趣的瀑布，很美的瀑布，所以你决定和朋友们一起去远足寻找它，但你需要画地图。你会迷路一点，但也许在迷路途中，你发现了其他有趣的东西并记下来。在去瀑布的路上，你发现远处有一个更壮观的瀑布——你现在到不了，但也许未来的远足者也会找到办法到达那里。

所以到达目标有一个完整的过程，这本身也很有价值。但这些AI工具就像直升机，会直接让你飞到瀑布，你可以看到然后飞回来，但你学不到任何关于如何到达那里的东西——除了你要求的具体事物，你可能看不到任何其他有趣现象。所以即使技术上你更有效地实现了目标，也可能失去了一些东西。

现代AI由一种称为机器学习的算法驱动，试图预测数据中的模式。一个非常简单的机器学习例子是回归。如果你有一些输入和输出，比如观察到给动物更多食物它们会长得更大，你可以绘制喂食量和体重等，得到一些散点，如果幸运它们会拟合一条线，那条线成为你的预测。在现实世界中，你不总是得到这些好的线性关系——往往有很多输入和很多输出，关系可能非常复杂。但有时数据有形状，我们现在有各种聪明方法检测这个形状并拟合曲线。

驱动聊天机器人的大型语言模型，基本上只是在玩“命名句子中下一个词”的游戏。大致说，如果我说“玫瑰是红的，紫罗兰是____”，下一个词填空是什么？你可能猜答案是“蓝的”。这就是输出。你可以想象一个巨大的图，输入是所有不完整的句子，输出是你想完成的词，在这个高维空间中有很多点，你想拟合一些曲线，试图解释最可能的词。有时不止一个答案——“你好，我的名字是____”后面可以有很多名字。不一定总是单一答案，但你可以尝试得到最合理的答案。人们已经尝试过，你手机上的自动补全功能就是这样——你打字，它会建议下一个词，有时正确有时荒谬。

一旦你有任何这样的操作，它会产生一些动力学，你可以不断迭代。很多人玩过手机，不停按自动补全，得到乱码句子——就像猴子在打字机上。但LLM的神奇之处在于，如果你在足够多的数据上训练这些LLM——万亿万亿数据点，真的尽可能拟合好的曲线，这需要数百万美元的算力和数月时间——然后突然，即使迭代，它也能保持连贯。它开始听起来不像猴子，而是像人类说话。我们不完全理解为什么会这样。

但似乎真实的是，像英语或其他自然语言包含很多我们无意识意识到的隐藏模式。我们知道英语的一些语法规则，但还有一些未言明的、不成文的语言规则，人类孩子能够习得——即使他们没有被教名词动词是什么，仅通过持续接触语言，他们就能习得英语单词的顺序。似乎你也可以教这些模型习得语言模式，到了你可以给它们数学问题：“2+3等于____”，它们会说“5”。它们被训练来得到至少简单数学问题的正确答案。

一旦你有了一点说英语的能力，你就可以循环迭代并检查你的工作，减少错误，你可以提示这些模型逐步进行，除非被双重检查否则不说任何话。于是它们变得更“聪明”一点，能解决很多复杂任务，但它们仍然只是在猜下一个词。它们没有真正植根于对现实世界的深度理解——只是它们吸收的英语或其他语言模式太好，可以模仿说话明智的人，足够长时间地表现出智能以愚弄我们，并且足以做有用的事情。

我们可以通过让LLM提供证明来解决某些数学问题，有时证明完全是垃圾，但如果你迭代足够并有足够检查，实际上可以开始有正成功率。这是一种非常奇怪的解决问题方式——与我们通常理解的基于第一原理的、有条理的系统性思维完全正交。就像有一个知道很多但有点醉的人，随意抛出想法，但通过足够指导，你可以提取有用的输出。它并不是最前沿的数学，但给它大量数据、大量时间和许多其他辅助，效果相当不错。

我发现关于AI在科学和其他学科中角色的一些讨论，我们常常默认一种一维的思维观点：有简单任务、困难任务、非常困难任务，人类能做一定水平，AI能做一定水平，所以哪个更好——那是一维思维。但我发现，在与AI合作并比较它们解决问题的方式和人类的方式时，它们其实相当互补。

人类专家专注于深度——人类数学家会解决成千上万问题，但他们挑选一两个他们认为困难但不至于不可能的，困难到尝试取得进展的过程会揭示各种洞察，他们可以分享，也许学生或其他合作者可以在此基础上构建。当把AI指向真正困难的问题，没有标准技术适用时，它们仍然非常差——基本上随机猜测。

但它们擅长广度。如果你把AI指向一千个不同难度的问题，有些可能太难，但有些实际上在现有方法可及范围内，文献中有某种方法可以解决，或者需要组合两种方法，只是没有足够的人类专家来看所有这些问题，而且看这些问题的专家可能不知道1970年某杂志有一篇晦涩论文有关键思路。他们没有耐心或时间遍历所有不同技术组合。

但AI会有些随机地、有根据地猜测哪些技术可能适用于某个问题，其中一些愚蠢，但一些可能奏效。通过所有这些组合，我们发现有时它们能找到所有人类都忽略的解决方案。有时专家的共识或传统智慧是错误的——我们都认为问题有肯定答案，但实际是否定答案，而我们没有过多看否定情况，因为都认为肯定是对的，但AI可能没有那种先入之见。所以有时AI只是充当独立的耳目。

一些我们认为非常困难的问题有出奇简单的解决方案，事后我们本应自己想到。当把AI指向非常广泛的问题时，它们开始成功解决其中一定比例——比如指向一千个问题，解决5%，那仍然是50个问题。你已经有工具在解决的问题原始数量上某种程度上超越人类数学家。现在那50个问题可能不是你最想要解决的50个，可能只是随机50个，但仍然令人印象深刻。

为什么更快并不总是更好

我认为作为专业领域，我们必须找到方法将这种新能力——在广泛尺度上解决问题——与我们现有的能力——缓慢解决少数深层问题——融合起来。

开普勒发现著名运动定律的故事很迷人，展示了过程的重要性。开普勒得知哥白尼的行星运动理论，哥白尼大致算出了地球到太阳、火星到太阳的距离。开普勒注意到这些轨道比例看起来有点像几何中的某些比例，最终他提出，实际上如果你取球体——每个行星一个球体，当时已知六个行星——他可以在六个球体之间内接五个柏拉图立体（十二面体、立方体、四面体等），他认为会完美贴合，这就用五个柏拉图立体解释了太阳系的形状。这是他美丽的几何想法。

直到他设法获得第谷·布拉赫的高质量观测数据——他不得不争取甚至可能偷取——然后试图将理论拟合数据，发现并不完全符合第谷数据的精度，实际上他从中发现火星和地球的轨道不可能是圆，必须有其他形状。他花了很多年搞明白。我不知道他坚持这个柏拉图立体理论多久，从他的手稿中可以看到他尝试了很多其他东西——试图让圆偏心，最终他落到椭圆，然后一切吻合。

这确实表明理论和实验之间存在相互作用。你可以提出理论，如果不符合数据，可能不是好理论。但比这更复杂。在开普勒之前，哥白尼理论的批评之一是，哥白尼自己也承认他的测量不如当时最好的预测——当时最好的模型是地心模型，由希腊人、阿拉伯人和印度人发展，经过许多调整和微调，能以非常复杂的方式非常精确地预测所有行星位置。开普勒-哥白尼的模型更差。仅仅数据吻合不一定是一个指标。

直到开普勒找到修正模型——轨道不是圆而是椭圆——日心模型才变得比地心模型更精确。这说明，科学中你不能总是立即得到是否解决科学问题的反馈。如果开普勒和哥白尼有AI，让他们预测宇宙模型，生成正确日心模型的AI可能会被丢弃，因为最初它们的预测不如地心模型。需要时间来真正消化所有这些理论，看它们如何与我们对行星、运动、引力等已知的一切相契合。

一个担忧是AI太快了。有危险AI会做所谓的过拟合，创建非常复杂的模型，与实际毫无关系，但非常非常好地拟合你的数据，却无法外推到该数据集之外。我们如何将AI融入科学发现过程将是一个挑战。它当然可以加速过程的各个步骤——你可以更快做实验、写代码、写论文。但整个科学可能不会仅仅因为每个组件变快而加速。有危险当我们把AI指向科学时，会优化错误的东西，表面上得到所有这些惊人成功，但发现科学并没有像过去那样进步。但我们会发现，拥有这些工具仍然比没有好——我们仍在学习如何最有效地使用它们。

我们做的一部分是解决问题、寻找解、证明东西。证明经历一定生命周期。首先，你得生成一个解或证明——这曾经很难，但一些生成证明不正确。然后你得验证，检查哪些正确——这也曾经很繁琐。但这两项任务都在越来越自动化。

我们开始看到越来越多的各种问题的提出解，其中许多实际上是正确的，但证明也越来越长。当AI写证明时，通常不愉快——AI生成的证明可能花很多时间谈论非常琐碎的事情，却很少讨论论文中最有趣的部分。我想因为AI无法区分什么难、什么容易——对它们来说，暴力破解下所有事情花相同时间。一个自然必须在论文最困难步骤上挣扎的人类会自然花很多时间在那一步。所以你需要以读起来好的方式写出证明，可以向他人解释。

然后其他人必须对它感到兴奋，接受它——“这真的很有趣，这将帮助我解决我自己的问题”，或者它真正阐明了为什么这个现象成立。必须被接受——这就是我们传统上同行评审过程的地方，我们送论文给审稿人，如果审稿人对结果兴奋，论文被接受。但可能有论文技术上正确、可读性好，但回答的是没人关心的问题。

最后，需要完全精炼并放入教科书，教给学生。通常证明的第一版不适合写进教科书——通常以非常低效的方式完成，步骤顺序不太逻辑。有一个消化的过程，有人花很多时间思考什么是完全正确的组织方式，编辑论文，使其流畅——有点像编辑纪录片或电影。

我们发现AI工具在加速这个过程的早期阶段，但不在晚期阶段。我们现在生成很多证明，验证一堆，但理解它们并将它们放入最终教科书形式的过程仍然由人类完成。实际上，我们现在经历所谓“证明消化不良”——突然有大量待理解的解决方案应该进入教科书，但我们被太多淹没了。我们必须选择和分诊。这是以前从未发生过的事情。过去解决方案出来得太少，如果一个重大问题的解被解决，所有专家会放下一切阅读并尽快消化，因为它如此罕见和宝贵，值得做。

现在我们被所有可能的解决方案淹没。我自己已经不得不停止试图跟上我领域所有最新发展——有时有太多事情。我不能保证阅读出现的每一个发展。这在AI之前已经开始成为问题，但AI确实大大加速了内容生成的数量。我们需要更好的策展和过滤。这是个好问题——好比食物太多比不够吃好——但仍然是问题。

AI现在能做什么以及面临什么风险

AI在数学方面变得越来越有能力。对于我这样过去三年关注发展的人来说，有稳定的进展：四年前能解决中学数学，然后高中，然后高中奥赛级，然后研究生资格考级，然后开始解决一些小的未解决问题——可能保罗·埃尔德什提出但没人真正关注的低垂果实。

然后最近有一两次，它们设法解决了一些人们确实非常努力尝试过的问题——人类集体都走错了方向，而AI有不同的偏见集，设法拼凑出一个相当聪明的解决方案，已经有一些影响。例如单位距离问题附近的一些问题也被人类解决，他们改编了AI的技术。

我觉得这相当令人兴奋。对一些同事来说，这非常令人担忧，尤其是如果他们没关注之前的进展，不知道到了什么水平。如果一个同事只见过2023年ChatGPT能做什么——你问它一个困难数学问题，它给你完全垃圾——而现在的模型大不相同。虽然本质上还是相同技术，但他们找到了降低错误率的方法，变得真正有用。

尚不清楚这是否可重复。很多这些成就是由私人公司完成的，他们没有披露花费了多少资源——是10万美元算力还是100万美元？我们不知道。我们不知道成功率——他们解决的是唯一问题还是看了10个、100个？虽然结果令人印象深刻，我们没有足够数据来真正评估这将成为完全常规的事情，还是只有花10万美元、几个月、10人团队才能得到这样的结果，而且只有1%我们关心的问题适用这种方法。我们不知道。

但有努力进行更适当的科学基准测试。最近的一个挑战叫FrontierMath挑战，他们测试了最新模型在一组10个研究级问题上的表现，最好的模型能做10个中5-6个中等难度的问题（已有解但答案保密）。我认为有很多日常研究中的常规任务，有一定百分比现在可以由AI完成。可能成本高——很多工具运行需几百美元才能得到解，有时失败，花掉所有算力却无有用结果。

我们在编程中看到，许多专家程序员报告使用这些工具后写代码能力提高了5倍、10倍甚至100倍，但他们也感到自己手写代码能力下降，有时无法审查这些代理生成的代码。存在权衡——速度不是一切。

我非常喜欢数学的合作方面。我直到职业生涯较晚才意识到它如此重要——我有很多数学是在研究生毕业后通过与不同领域的数学家和科学家合作学到的。我教他们我知道的，他们教我他们知道的，结果我变得广博得多。当你与长期合作的伙伴合作时，有时你们几乎在精神上相互调谐——就像亲密朋友或家人，有时你能接完对方的句子。你知道对方要说什么。合作中有时能体验到这点：你抛出想法，话还没说完，对方就明白了并可以继续。

人们曾尝试像这样使用AI，但AI你不能与它们对话——它们会犯错，有时会谄媚，只告诉你你想听的。而且目前与这些工具的互动是个人化的——我曾尝试与人面对面合作时同时有AI在场，但它破坏了节奏。这些工具还不太具有对话性，不像与人类合作者那样流畅。也许它们会达到那一步。直到最近，它们不会从你的对话中学习——与伙伴合作，你第二天可以很快接上，甚至多年未见也能接上旧话题。AI有一定上下文，能记住一些东西并做笔记模拟记忆，但你无法像与亲密合作伙伴那样调谐到AI。

实际上，我并不怎么用这些工具来解决实际问题。我发现迄今为止，这些工具在次要任务上好得多，比如文献搜索、检查证明、写代码、校对我写的东西看能否更精炼。我与AI合作的节奏不太是我喜欢的，我更偏好人类合作者，但这可能只是当前技术状态。也许未来AI会更会话化、更人性化。

我们现在整个科学事业的资助结构，正处在一个相当危险的关头。一方面，这些工具让我们能以大大加速的速度创造科学输出（或看似科学输出），但可能以牺牲我们为下一代科学家培育的“种子玉米”为代价。例如，确实担忧我们给研究生的训练问题——作为他们的第一个项目，获得认可、职业培训和经验——这类问题现在AI可以复制很多论文。但如果你用AI取代研究生，AI会生成那些研究生水平的论文，但我们得不到下一代学生。

如果我们不继续消化所有AI输出的过程，为下一代人类和AI建立知识基础，我们可能会作为科学社会停滞不前——我们将能优化当前技术能做的所有事情，但可能不再发展真正原创的新想法。我们需要更开放地讨论基础科学是什么、有什么用处，为什么仍然需要好奇心驱动的研究，为什么我们仍然需要人类社区有时慢慢地、以不如最新AI模型高效的方式探索事物，以及我们获得的洞见。

我认为我们应该更多地分享它们，更多地与公众互动。今天的大众能看到科学的可见产出——他们有手机、互联网、GPS。很多人看不到整个过程，以及对数学和科学的基本理解如何让周围世界不再可怕，而是更清晰。我认为很多人现在生活在焦虑中——世界太复杂。我们没有像强调硬性技术产出那样强调科学的这些软性价值。但科学确实为人的思维带来一定清晰度，这些都是有价值的东西，需要得到支持。