OpenAI科学家：现有模型与后训练结合有望催生黎曼猜想新证明

OpenAI科学家塞巴斯蒂安·布贝克认为，现有模型结合后训练技术足以解决黎曼猜想等重大数学问题。他预测，随着AI模型的发展，未来几年内将实现AGI日，并在三年内达到AGI周的水平。反方辩手汤姆·麦考伊对此持怀疑态度，指出LLM受数据频率和幻觉问题限制，难以产生新证明技术。

近日，OpenAI科学家塞巴斯蒂安·布贝克表示：<strong>AI模型的能力可以用</strong>“AGI小时”</strong>来衡量。</strong>

“AGI小时”是指AI模型完成人类需要几分钟或几小时的任务所需的时间。GPT-4可以完成人类需要几分钟甚至几小时的任务，而o1则需要完成人类需要几天的任务。

<strong>有人认为，如果模型能够达到人类数周或数月的工作量，那么它就和真正的AGI差不多了。</strong

<strong>看到这个新概念，网友们也展开了热烈的讨论。</strong>有人认为如果模型能够达到人类数周或数月的工作量，那么它也和真正的AGI差不多了，还有人认为这个说法有点模糊，因为人脑很难将任务完成时间机械化地限定为几个月、几年。

反方辩手汤姆·麦克考伊对LLM能否解决复杂的开放性问题持怀疑态度。他质疑语言模型的能力源于其训练数据，但目前尚未显示有证据表明它们能够产生能解决复杂开放性问题的新模式。当前基于缩放定律的LLM，能否在未来几年内产生能解决重大数学难题的证明技术？对此，世界知名理论计算机科学机构Simons Institute提出了最近由World Simons Institute提出的辩题：

<strong>当前基于缩放定律的LLM，能否在未来几年内产生能解决重大数学难题（如P≠NP、黎曼假设等）的证明技术？</strong

正方观点是塞巴斯蒂安·布贝克，他是应用数学博士，曾在普林斯顿担任助理教授，现任职于微软研究院，也是Phi Series小语言模型系列的开发者之一。反方观点是认知科学博士，现任耶鲁大学语言学副教授，同时也是“自回归余烬”的作者之一。

在辩论中，正方塞巴斯蒂安·布贝克展示了LLM近年来在多领域的基准测试上的表现亮眼，并指出提升趋势为解决数学难题奠定基础，他认为以当前模型的能力加上更多的数据和后期训练，就足以解决数学难题。

正方塞巴斯蒂安·布贝克表示：

<strong>“我相信LLM坚信潜力无限，并以大量数据和后期训练来增强模型的能力。”</strong

他还强调了后训练技术的重要性，这是挖掘模型深层潜力的关键。

<strong>从GPT-3.5开始，模型就可以在后训练过程中提取智能。</strong到o1模型模型时代，其采用强化学习等创新训练范式，使模型在复杂任务（如编程、数学）上实现质的飞跃。</strong

<strong>尤其是在特定问题中，o1能迅速关联看似不相关的知识概念，自发涌现出一些新的思路，为解决难题提供新线索。</strong

<strong>正方还驳斥了反方观点。</strong

<strong>反方汤姆·麦克考伊表示：</strong

<strong>“语言模型虽令人惊叹，但能力源于训练数据。</strong”

<strong>目前没有证据显示它们能够产生能解决复杂开放性问题的新模式。</strong

<strong>在单词计数和排序任务中，数据频率影响清晰可见，罕见长度列表准确率显著降低，而常见长度大幅下降；在医学诊断领域，准确率随难度递增而锐减。</strong

<strong>而且，根据数据量级与能力关系，未来想要大幅提升模型能力，需新的指数级数据，目前已有严重数据瓶颈。</strong

<strong此外，当前缩放方法本质缺陷难破。</strong

<strong基于语言预测的训练模式，使模型在处理数学问题时难以触及深度推理和创新思维核心。</strong

<strong比如在数学符号处理和抽象逻辑推导方面，模型处理方式与专业推导相比缺乏专业推导，需要从底层架构和训练理念上进行彻底变革。</strong

<strong3.反对方还指出当前缩放方法本质难破。</strong

<strong基于语言预测的训练模式，使模型在处理数学问题时难以触及深度推理和创新思维核心。</strong

<strong比如在数学符号处理和抽象逻辑推导方面，模型处理方式与专业推导相比缺乏专业推导，需要从底层架构和训练理念上进行彻底变革。</strong

<strong随后正方还对反方观点进行了驳斥。</strong

<strong正方表示人类的很多顶级成果是靠现有的<span class="spamTm">组合产生的</span>。</strong

<strong>而且未来人类超过50页的证明中经常会出错，但在超过50页的证明中也会出错。</strong

<strong而o1已经可以和人类专家合作，但想要独自解决数学问题，还需要做到比人类做得更好。</strong

<strong目前看来，LLM解决数学难题的可能性还是很大的。</strong

<strong不过，反方汤姆·麦克考伊也发表了自己的看法:</strong

<strong“o1已经可以和人类专家合作，但想要独自解决数学问题，还需要做到比人类更稳定。</strong”

<strong实际上，o1想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong或者至少要以稳健的方式使用现有的想法。</strong

<strong现在o1已经可以和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong看来，LLM解决数学难题的可能性还是很大的。</strong

<strong不过，反方汤姆·麦克考伊也发表了自己的看法:</strong

<strong“o1已经可以和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong”

<strong实际上，o1想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong或者至少要以稳健的方式使用现有的想法。</strong

<strong现在o1已经和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong看来，LLM解决数学难题的可能性还是很大的。</strong

<strong不过，反方汤姆·麦克考伊也发表了自己的看法:</strong

<strong“o1已经可以和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong”

<strong实际上，o1想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong或者至少要以稳健的方式使用现有的想法。</strong

<strong现在o1已经和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong看来，LLM解决数学难题的可能性还是很大的。</strong

<strong不过，反方汤姆·麦克考伊也发表了自己的看法:</strong

<strong“o1已经可以和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong”

<strong实际上，o1想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong或者至少要以稳健的方式使用现有的想法。</strong

<strong现在o1已经和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong看来，LLM解决数学难题的可能性还是很大的。</strong

<strong不过，反方汤姆·麦克考伊也发表了自己的看法:</strong

<strong“o1已经可以和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong”

<strong实际上，o1想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong或者至少要以稳健的方式使用现有的想法。</strong

<strong现在o1已经和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong看来，LLM解决数学难题的可能性还是很大的。</strong

<strong不过，反方汤姆·麦克考伊也发表了自己的看法:</strong

<strong“o1已经可以和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong”

<strong实际上，o1想要独自解决数学难题，还需要做到比人类更稳定。</strong

<strong或者至少要以稳健的方式使用现有的想法。</strong

<strong现在o1已经和人类专家合作，但想要独自解决数学难题，还需要做到比人类更稳定。</strong