体育赛事深度解读

在斯坦福HAI的闭幕主题演讲中，Jeff Dean介绍了他离开Google后参与创立的新公司Discovery Loop。它的使命是构建能自动解决机器学习、科学和工程重要问题的AI系统：提出实验、运行实验、评估结果、决定下一步，并让每一轮实验反哺下一轮。随后，李飞飞与Jeff Dean围绕“自我改进”与“递归自我改进”的区别、AI解数学难题带来的冲击、Transformer的起点、技术预测的对错，以及这一代年轻人面对AI时的焦虑展开对话。

以下是他们的对话实录：

李飞飞：先谈谈Discovery Loop。为什么现在要成立这样一家公司？

Jeff Dean：我们的使命是构建AI系统，自动解决机器学习、科学和工程中的重要问题。我们相信，这最终会为世界带来更多发现。很多学科都有一个共同的循环：提出实验，实施并运行实验，观察结果和测量，再决定下一步，通常就是做另一个实验。我们想自动化这类实验循环。如果能缩短迭代时间，自动提出并运行大量实验，从每次评估中学习，让后续实验更好，同时提升实验质量和数量，就可能得到突破性结果。

李飞飞：为什么把它做成一家独立的公益性公司？

Jeff Dean：我们相信技术如果做对了，能对世界产生惊人的积极影响，但所有人都必须努力确保这种积极影响发生。所以我们把公司注册为公益性公司，公共使命是开发解决重要社会问题的技术，并让技术带来的好处被广泛获取，改善人们生活。

李飞飞：团队呢？

Jeff Dean：我有三位很棒的联合创始人：Quoc Le、Sanjay Ghemawat和Oriol Vinyals。我们彼此合作了大约14到30年，喜欢一起解决难题。我们参与过Google搜索、广告系统、Gmail、新闻、翻译、大规模机器学习基础设施、TPU、模型蒸馏、MoE、神经架构搜索，也参与过AlphaChip、AlphaFold、神经天气预报等项目。我们还管理过大规模团队：我管理过Google Brain到600人，后来Google Research和AI团队约4400人。但后来我发现自己花很多时间在Q2运营支出会议上，就决定换一种方式。我们也很自豪，很多团队成员后来参与创办了Anthropic、OpenAI、Physical Intelligence等。

李飞飞：为什么是现在？是什么技术条件成熟了？

Jeff Dean：过去10到15年，硬件层性能大幅提升，TPU、GPU和更专用硬件都在进步；软件抽象更好，能更高效映射到硬件；模型架构从word2vec、seq2seq、Transformer到MoE不断改进；训练算法更好，蒸馏能做出高质量小模型；推理算法也进步很大，可以用更多推理时计算、思维链、多次尝试和检查来得到更好结果。但好的基础模型还不够。你需要agent加模型，能有效使用工具完成复杂任务，尤其要擅长创造性：不是重复已经做过的事，而是整合许多洞见，提出真正新的东西，并验证它是否有效。Agent和模型还应从之前的实验和经验中学习，包括解决过5000个问题后，能从最相关的问题中学习。

李飞飞：传统实验循环的瓶颈在哪里？

Jeff Dean：传统循环每个阶段都有大量人工。解决更大问题时还要分解成子问题，而分解本身很难；每个子问题有很多人做实验、试不同方法，协调开销大，资源冲突、系统效应都会出现。更糟的是，大型项目一旦启动，早期分解方式很难改。我们想的是：少量领域专家，加上能自动分解成有趣子问题、自动解决子问题的系统；人类可以引导分解、指出重要子问题，让小团队解决影响大的问题。前提是基础设施要对：成千上万自动实验，系统能理解跑这个实验和那个实验的价值，用强化学习或进化算法做自动决策，让早期决策可以更灵活地重访，每个早期实验都能为未来实验提供信息。

李飞飞：公司成立以来做了什么？

Jeff Dean：前三周做了400场面试，很多在University Avenue的Cafe Venetia，找优秀的人；找办公空间，现在在旧的Zibibbo餐厅；搭了自己的agent harness，用于所有开发和自动化。它有协作功能：你可以和模型对话、让它解决问题，也可以邀请队友一起和模型、agent协作，别人可以评论或向agent提设计方案。我们搭的是agent-first基础设施，目标扩展到数万、数十万agent做事，而不是几百个人做事。我们大约有20个自动改进循环在运行，评估如何让实验迭代更有效、更快，如何从之前结果中学习。

李飞飞：你们先聚焦哪些领域？

Jeff Dean：先聚焦整个循环可以在数字形式完成的科学和工程问题，因为最容易加速。物理过程会拖慢循环，有些领域需要混合方法。当前重点是机器学习研究和机器学习工程本身，以及硬件设计。这三个领域我们有专长，也能解锁其他东西。比如医疗健康，如果有系统能自动解决机器学习工程任务，就可以把它指向健康、材料科学等问题，要求一个针对特定任务的模型。这是自我改进，但不是递归自我改进。医疗是长期重要方向，但现阶段先做数字循环最成熟的领域。

李飞飞：那就把“自我改进”和“递归自我改进”说清楚。很多人把它们混着用。

Jeff Dean：自我改进系统是：你给系统一个目标，通常有可衡量指标，比如模型准确率；系统尝试不同模型架构来提高准确率。很多机器学习算法都能做到，但这本身不是递归的。比如你给系统大量MRI数据和结果，让它开发一个解释MRI图像的模型，系统自动尝试不同方法、看准确率是否提高。但这并没有改进“提出下一步尝试什么”的基础系统。递归自我改进是：你能否用这种自我改进方法，去改进那个提出改进建议的基础系统本身。

李飞飞：但RSI被炒得很厉害，好像可以无限加速。物理限制在哪里？

Jeff Dean：人类提升模型能力的方式，是让有能力的科研人员和ML工程师一起做大量小规模实验，判断哪些想法有效、哪些无效，再把有效的东西纳入下一代模型。Gemini 2在Gemini 1之后就是这样来的。自动化可以加速这个过程：人跑一个实验，如果凌晨2点结束，可能早上8点才看结果；自动系统可以更快看结果、决定下一步，也可能在整个大项目层面做更好的决策。但创建更好的基础模型需要实际训练和实验，需要跑计算、看结果、保存数据、让另一个模型看结果再决定下一步。这不会无限快，有实际物理过程。自动化会提高改进速度，但不会让循环无限加速。把它看作务实的工程系统，会没那么可怕、更容易理解。

李飞飞：人类自己是自我改进系统，还是RSI系统？比如学做煎蛋。

Jeff Dean：人类两者都是。你一生学到很多东西，这是自我改进；但你也学会“如何学习”。学会如何学习，才让你能更快学更多东西，基于你理解什么知识和信息呈现方式最容易被你掌握。这更接近递归自我改进。递归自学习和递归自我改进也可能和进化算法有关。

李飞飞：最近几周AI在数学上进展很大，从Navier-Stokes相关到更多刚发布的论文。数学是百年、千年人类智慧的顶点，数学家不仅看技术解法，也看美感。你怎么看这种冲击？

Jeff Dean：模型和能高度并行使用模型的agent系统，确实能解决非常难的未解数学问题，这揭示了现在什么是可能的。很多人不舒服，是因为这些证明往往是500页Lean代码，机器可检查，但没人真正理解通往结果的优雅简单路径。知道问题被证明或证伪是好事，但数学家常常在解题过程中发展出优雅技术，这些技术会生成新的数学，用于其他问题。优雅解法往往带来可复用的巧妙技术，而在很长的机器生成证明里，人们未必能看到这种清晰优雅的技术。不过，知道某件事可解，在很多领域会让人更努力，知道自己能做到，然后可能用不同、更优雅的方式做到。所以一方面，这么多问题同时被解决确实令人不安；另一方面，这已经成为可能，人们要思考如何利用这种能力做更多数学。

李飞飞：来个突击测验：2017年6月12日有什么意义？

Jeff Dean：那是Transformer论文上arXiv的日子吗？

李飞飞：对，A+。你6月12日读了吗？

Jeff Dean：没有，大概是6月10日读的。

李飞飞：从那个起点回看近十年，你个人最重要的技术时刻是什么？哪些预测对了，哪些错了？

Jeff Dean：有几件事突出。Transformer显然是更高效的模型架构：保存经历过的所有状态并对其进行attention，而不是用一个小向量不断更新并忘记之前的状态。这让模型用少得多的计算学到更多。蒸馏也很关键，我和Jeff Hinton、Oriol做的工作2016年被NeurIPS拒了，说不太可能有影响，我们放到arXiv，后来引用很多。它让你用大模型当老师，教轻量学生模型，做出推理高效模型。MoE也被证明很好。我预测错的一点是：我以为MoE会走向更狂野、更异质、更像有机神经网络的架构，有神经活动列、偶尔的大跨连接；但实际MoE仍很规整，专家大小相同、马上汇合。神经架构搜索出来的模型看起来比人设计的更有机，比如连到上面17层、做奇怪连接，但我们还没走到我预想的那种野生态。另一个没充分预见的是编程能力：它成为模型解决多种问题的关键解锁器。我们在Gemini里重视它，但没想到如此深刻。

李飞飞：在HAI，我们必须谈“H”。AI的社会影响、就业、心理焦虑、人类灭绝讨论、对齐。你最担心什么？

Jeff Dean：这是极强大、极通用的技术，几乎影响社会每个方面：数学、编程、生成图像、自动驾驶。以往技术革命影响范围较窄，这次同时影响很多领域。兴奋、忧虑、恐惧都存在。我曾合写《塑造AI对数十亿人的影响》，考察就业与经济、AI for science、错误信息与虚假信息、媒体等七个领域，和很多领域专家交流。我最担心的是：如何在各个领域尽可能捕获AI的上行收益，同时尽量减少下行伤害。这不是纯技术问题，也是监管、政策制定者和公民的问题。我们都要想办法驾驭新技术，确保它服务所有人，不以可预见的方式伤害我们。比如当人们工作受影响时，要有好的方式适应世界新需求，获得有报酬的工作和繁荣生活。这是多方面问题，需要很多人共同解决。

李飞飞：最后一个问题。这一代大学生很焦虑，连斯坦福学生也担心工作和经济未来。作为AI先驱，你想对台下既焦虑又怀有希望的学生说什么？

Jeff Dean：我完全理解焦虑，世界变化很快，为快速变化的未来做规划很难。我的总体建议是：试着理解哪些新技术正在出现或很快会出现，并确保你学会把这种技术用于你最有热情的事情。那可能是当医生，可能是写作，可能是更有效地写软件。AI可以辅助和赋能这些事，但人的因素仍然存在：人类要决定我们 collectively 想做什么。你应该想清楚自己想做什么，尽你所能做到最好，这意味着使用现在可用的所有工具。人类激情在AI时代仍然永恒。

李飞飞：谢谢Jeff。

Jeff Dean：谢谢。

结 语

Jeff Dean 这场对话的核心，不是“AI 会不会取代科学家”，而是AI 正在把科学发现本身变成一个可以工程化的循环。Discovery Loop 的野心，是让少数领域专家借助自动化实验循环，解决过去需要大量人力才能推进的大问题。但 Jeff Dean 同时给出了一个清醒的边界：自动化会加速，但不会无限加速；递归自我改进值得研究，但不该被炒作成没有物理成本的魔法。对科研机构和创业者来说，真正的机会不在于追逐“RSI”口号，而在于把某个领域的实验循环数字化、自动化、可迭代。而对年轻学生，他的建议朴素但有效：理解新技术，做你热爱的事，并用上所有工具。

本文来自微信公众号“后浪进化星球”，作者：Mark，36氪经授权发布。