Ilya Sutskever在NeurIPS炸裂宣判：预训练将结束，数据压榨到头了（全文+视频）

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《Ilya Sutskever在NeurIPS炸裂宣判：预训练将结束，数据压榨到头了（全文+视频）》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

OpenAI 前首席科学家 Ilya Sutskever 罕见露面，预言 AI 发展新方向！在本届 NeurIPS 2024 大会上，Sutskever 发表了题为“时间检验奖”的演讲，回顾了十年来深度学习的飞速发展，并大胆预测了 AI 的未来走向。

他指出，互联网数据已接近枯竭，预训练模型的时代即将终结。未来，AI 将转向利用现有数据，并展现出真正的自主性和推理能力。这种推理能力将使 AI 系统的行为更加不可预测，如同国际象棋大师的精妙棋局，难以捉摸。

Sutskever 将 AI 的扩展与生物进化进行类比，认为 AI 也可能找到超越现有预训练方法的新路径。他提出，下一代模型将具备以下特征：

• 自主性: AI 系统将以更自主的方式运行。
• 推理能力: AI 系统将能够进行多步骤推理，而非简单的模式匹配。
• 不可预测性: 强大的推理能力将导致 AI 系统行为的不可预测性。
• 高效数据利用: AI 系统将能够从有限的数据中学习并理解信息。

演讲中，Sutskever 还回顾了Seq2Seq模型的研发历程，并分享了对深度学习“假说”以及Scaling Laws的理解。他认为，虽然现有数据仍能推动 AI 发展，但数据量的瓶颈将迫使行业寻求新的训练模式，例如智能体（Agent）、合成数据以及更强大的推理能力。

Sutskever 在问答环节中，也对 AI 的未来发展、潜在风险以及与人类认知的关系等问题进行了探讨。他认为，AI 的“自动更正”能力将成为未来模型的核心功能之一，能够有效减少模型的“幻觉”现象。 关于 AI 是否会取代人类，以及如何构建正确的激励机制等问题，他表示需要更多深入的思考和讨论。

好了，本文到此结束，带大家了解了《Ilya Sutskever在NeurIPS炸裂宣判：预训练将结束，数据压榨到头了（全文+视频）》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多科技周边知识！