“我喜欢小团队，注意力不会分散”，杰夫·迪恩首度回应离开谷歌

8月初，在离开谷歌仅12个小时后，杰夫·迪恩就出现在斯坦福大学AASF Summit的舞台上。

这是他结束27年谷歌职业生涯后的首次公开访谈。与他对谈的是加州大学伯克利分校教授、Meta超级智能实验室AI研究副总裁宋晓冬。

从MoE（混合专家）、TensorFlow到Gemini，再到AI安全和递归自我改进，迪恩在访谈中回顾了自己过去27年的技术经历，也谈到了他对下一阶段AI发展的判断。迪恩依然看重那些能够带来数量级提升的技术。

十年前，MoE带来的约10倍效率改善让他意识到，这可能是一项具有长期影响力的技术。今天，他关注的重点已经从模型本身延伸到模型背后的研发过程。

在迪恩看来，AI正在从模型能力的持续提升，走向对自身研发流程的深度参与。数据选择、模型设计、实验验证和结果评估，都可以交给AI建立自动化循环。

如果一次实验能够从几天、几周压缩到几小时甚至几分钟，再同时运行成千上万个实验，科学发现的速度也可能随之提升一个数量级。

这也解释迪恩为什么在27年后离开谷歌，创办Discovery Loop。他希望把自己长期积累的机器学习、计算系统和科学研究经验放在一个更小、更专注的团队里，探索AI能否从解决问题的工具，进一步成为参与科学发现的系统。

而在AI能力快速提升的同时，迪恩也提醒，智能体带来的风险正在进入新的阶段。面对网络安全等双重用途问题，仅靠模型本身的技术限制并不够，法律、责任、监管和社会规则同样需要参与进来。

以下为迪恩专访全文（有删减）：

01 一项“10倍”技术，押中了今天的AI

宋晓冬：大约在2017年的ICLR（国际学习表征会议），你曾经向我介绍过谷歌当时正在研究的稀疏门控混合专家层（MoE）。当时你有没有意识到，这项工作后来会成为今天很多前沿模型的基础？

迪恩：当时我们确实认为它很重要。

背后的直觉是，模型可以拥有非常大的容量，但每个Token没有必要承担整个模型的计算成本。所以我们设计了模块化架构，让不同“专家“负责不同事情，处理具体Token时，只激活真正有用的部分。

这和人的大脑有些类似。思考莎士比亚十四行诗和躲避倒车的大卡车，需要调用不同的神经回路。

当时的实验结果也很突出。与主流密集模型相比，MoE在训练计算与模型质量之间取得了大约10倍的改善。看到10倍提升时，我通常会认为，这可能是一项具有长期影响力的技术。

宋晓冬：回顾过去几十年，从MapReduce、BigTable到TensorFlow、TPU和Gemini，你参与了很多关键项目。AI发展过程中，什么最让你意外？

迪恩：大约从2011年、2012年开始，我们在谷歌做大规模深度学习。当时训练的神经网络比此前大约50倍，很快就看到明显结果。

图像分类错误率大幅下降，语音识别也取得巨大进步。仅仅扩大一个相对简单的深度声学模型，带来的语音识别改善，就大致相当于此前20年研究成果的总和。

我们很早就看到，这种方法会影响计算机视觉、语言处理、语音识别等多个领域。

深度学习真正重要的一点，是把过去拥有不同技术体系的领域放到了一种统一的学习范式中。通过原始数据学习，模型可以完成预测、分类和建模，如今已经进入医学、科学研究、消费产品等领域。

02 TensorFlow留下的教训

宋晓冬：TensorFlow帮助全球大量研究人员进入深度学习领域。当时设计TensorFlow时，最重要的原则是什么？如果今天重新做一次，你会改变什么？

迪恩：谷歌此前有一个内部系统叫DistBelief，可以把神经网络计算映射到CPU、GPU等不同硬件，并完成分布式计算。

研究人员只需要告诉系统：“我想训练这个模型，使用100台机器、1600个内核或者500块GPU。”底层系统负责具体实现。

我们希望TensorFlow延续这种趋势，让研究人员不用关心模型如何映射到硬件，只需要描述自己想做的机器学习计算。

我们也希望把矩阵乘法、向量操作等能力统一起来，让大家用通用框架表达自己的想法。同时，开源实现也很重要。一篇论文如果附带代码，其他人可以直接复现，而不需要从文字描述重新实现。

但TensorFlow也有一些后来发现的问题。

一个是没有从第一天加入eager execution（编程执行模式）。后来PyTorch和JAX采用这种方式，TensorFlow也加入了。

另一个是contrib目录。我们允许社区贡献大量辅助库，结果同一件事情出现了很多种做法，有时甚至有十种方式可以完成同一个任务，用户很难判断标准答案。

如果重新设计，我会让核心保持小而稳定，让生态系统建立在核心之上。

宋晓冬：你职业生涯中有很多工作过了几年甚至十几年，行业才意识到它们的重要性。你怎么判断一项技术是否具有长期价值？

迪恩：我一直会跟踪社区正在探索的各种趋势。我经常告诉学生，与其把一篇论文读得非常仔细，不如快速浏览10篇，甚至看100篇摘要。你需要建立一个关于“可能性”的地图，因为很多重要创新来自不同想法之间的连接。

我喜欢寻找这样的问题：其中一些关键环节已经出现有希望的解决方案，还有几个部分需要真正突破。比如一个五年左右的问题，可能五件事情已经开始成形，另外两件事情需要深入研究。这是比较合理的风险水平。

如果一个问题需要20年才能解决，而且完全不知道从哪里开始，风险太高；如果两年就能解决，而且方法非常明确，更接近普通工程项目。

我还会做一些粗略估算。比如需要处理多少数据？通过网络传输需要多长时间？是100年还是10秒？

判断问题的规模和解决方案的效果，是很有用的工程能力。这种能力来自实践，也来自不断观察别人如何解决问题。我也做过很多失败的事情，所以要尝试足够多的方向，其中一些最终会成功。

03 Gemini：从第一天就做多模态

宋晓冬：Gemini是谷歌最新一代前沿模型。回顾Gemini的开发过程，你认为有哪些经验值得分享？

迪恩：Gemini实际上是几个早期研究项目的结晶。

Google Brain、DeepMind以及Google Research的一些团队，当时都在研究模型扩展和多模态能力。我当时写了一页备忘录，认为大家已经在趋向同一个方向，应该把人员、想法和计算资源结合起来，从头训练一个多模态模型。

我和奥里奥尔·维尼亚尔斯（Oriol Vinyals，迪恩的长期同事，Discovery Loop联创）共同推动了这项工作。其中一个重要决定，是让Gemini从一开始就具备多模态能力。我们希望模型理解文本、语言、代码、图像、视频、音频等不同模态。

训练数据中甚至加入了一些激光雷达数据，让模型建立对这种数据形式的基本理解。

我们也研究生成能力，所以模型既可以理解图像，也可以生成图像、视频和音频。

另一个重要经验来自编码。Gemini早期在编码能力上的投入有些落后，后来我们加强了这一方向。编码能力提升后，模型在很多非编码任务上的推理能力也会改善。因为写软件要求模型理解目标、拆分问题、执行步骤、检查结果，再根据失败重新迭代。

所以，编码能力的提升也会带动模型处理复杂问题的能力。

04 AI智能体，风险也在变强

宋晓冬：过去几年，智能体能力快速增长。我的团队开发了CyberGym、ExploitGym等网络安全基准。最近我们还看到OpenAI智能体突破测试环境、进入Hugging Face基础设施的事件。你怎么看这类风险？

迪恩：这些模型显然可以被用于很多不同的事情。医疗、教育，以及帮助人们完成过去无法完成的任务，都可能带来巨大价值。

网络安全则是典型的双重用途领域。AI可以帮助防御者发现大量安全漏洞，也可以被恶意用户用来利用漏洞。

复杂的人类攻击者目前仍然能够完成很多模型做不到的事情，但模型也可能发现一些人类防御工程师没有发现的漏洞。因此，攻击和防御双方都会获得更强的工具。这确实值得关注。

同时，一些问题需要技术之外的解决方案。法律、责任和监管都可以发挥作用。例如，入侵计算机系统本身已经违法，社会还需要进一步明确哪些行为不可接受，以及应该承担什么责任。

宋晓冬：你和John Hennessy、Dave Patterson等人此前讨论过AI的社会影响。你怎么看AI未来可能带来的更广泛变化？

迪恩：几年前，我们和一些同事做过一项工作，讨论AI可能产生重大影响的七个领域。其中很多是积极的，例如医疗和教育。也有一些领域更加复杂，比如工作岗位替代、地缘政治风险和计算机安全。

AI带来的影响不会简单地归为正面或者负面。不同领域会出现完全不同的结果，我们需要分别考虑。我们还建立了一个网站shapingai.com，希望把这些问题放在更广泛的社会背景中讨论。

05 让AI开始自我改进

宋晓冬：另一个越来越受关注的问题是递归自我改进。你认为AI多久能够真正参与改进AI自身？

迪恩：利用机器学习改进机器学习其实已经进行了很多年。

我的联合创始人Quoc Le等人很早就做过神经架构搜索，让模型生成机器学习架构，再评估学习速度、训练成本和最终质量。模型获得反馈后继续生成新的架构，逐渐学会哪些设计更有效。

后来Quoc和其他人又做了Evolved Transformer，通过进化算法寻找Transformer组件的不同组合，最终得到了一种比原始Transformer高效约30%的架构。

这些工作说明，机器学习用于改进机器学习已经具备了很长的历史，未来也有很大的改进空间。

宋晓冬：那么你理解的递归自我改进，具体会走向哪里？

迪恩：如果把机器学习系统拆开来看，有很多部分都可以建立自动化改进循环。数据选择可以改进，评估方法可以改进，模型架构可以改进，训练算法也可以改进。把这些循环连接起来，就会形成一个更大的系统，让AI参与整个AI研发流程。现代科学和工程其实一直遵循类似的模式。

一个大问题需要拆成许多子问题。然后针对某个子问题提出解决方案，实现它，运行实验，评估结果，再把反馈传回下一轮决策。这就是基本的科学方法，也是工程设计的基本方式。

06 把一周实验压缩到一小时

宋晓冬：这就是Discovery Loop的方向？

迪恩：对。Discovery Loop是一家公益公司，我们几个人以不同组合合作了14年至30年，参与过MapReduce、BigTable、Spanner、TensorFlow、模型蒸馏和模型架构等项目。公司的目标，是自动化机器学习以及更广泛的科学和工程研究，提高不同领域的发现速度。

科学研究的一个重要限制，是实验循环太慢。如果一个实验原本需要一周，我们能把它压缩到一小时，同时运行数千个实验，变化会非常大。如果系统还能根据实验的预期价值和计算成本，决定下一步运行哪些实验，就能形成持续迭代的研究循环。

我们正在建设管理整个实验集合的基础设施，评估每个实验的预期价值和计算成本，再决定计算资源应该投向哪里。

宋晓冬：你们希望Discovery Loop最终解决什么样的问题？

迪恩：我们会从比较窄的领域开始，因为早期需要保持专注。很多基础设施和通用技术可以跨领域使用。如果模型能够理解大量科学和工程知识，就可以形成跨领域的专业能力。

没有一个人能够拥有20个不同领域的博士学位，但AI可以把这些知识结合起来。它可以判断哪些子问题最重要，再安排智能体或多智能体系统处理，把结果重新组合，然后进入下一轮迭代。

我们希望通过工具提高实验实现和评估的速度。如果过去一个实验需要一天或一周，现在可以压缩到一分钟或一小时，再同时运行数千个实验，科学研究的速度可能发生数量级变化。

宋晓冬：为什么要以一家小公司，而不是谷歌内部项目的形式来做Discovery Loop？

迪恩：我非常喜欢在谷歌工作的27年，也非常感谢那里提供的基础设施和人才。对我来说，小团队的优势在于专注。如果十个人都围绕同一个使命工作，可以减少大型组织中的一些干扰。

云计算也改变了创业公司的条件。过去，前沿AI需要自己建设巨大的计算基础设施，现在小公司有资金就可以直接使用云平台的大规模计算资源。这让小团队能够把更多精力放在真正想解决的问题上。

以下为现场观众问答环节：

问：你的离职引发了巨大市场反应。你认为Discovery Loop在谷歌之外能实现什么？另外，谷歌拥有如此多的计算资源和人才，怎样才能让Gemini追上OpenAI？

迪恩：我不会把任何一天的股价变化归因于某一个人的离职，因为很难判断具体原因。我在谷歌工作了27年，对那里有非常深的感情，也相信谷歌团队和Gemini未来的发展。他们有很好的计划，我期待看到他们继续把模型做好。至于Discovery Loop，我认为小团队最大的优势就是专注。我们所有人都围绕同一个使命工作，这让我们可以快速做决定、快速尝试。

问：宋教授，很多领先科技公司都曾邀请你。为什么最终选择Meta？

宋晓冬：过去很多领先科技公司和前沿实验室都联系过我，包括谷歌。

此前我创办过四家创业公司，最近的一家公司被Meta收购。那家公司发展得很好，也有很多财富500强客户，所以加入Meta并不是一个轻松的决定。最终让我选择Meta的重要原因，是它拥有非常大的平台。Meta拥有数十亿用户和数亿企业，同时也在建设前沿AI和AI安全技术。

问：AI行业的第一性原理似乎更支持大型公司。数据是护城河，前沿模型需要分布式系统和巨额资本投入，顶尖工程师也能在大公司产生巨大影响。为什么现在很多顶尖人才仍然流向创业公司？

迪恩：云计算的兴起改变了这一点。

过去，小团队想做大规模机器学习，需要自己建设大量基础设施。现在，大规模计算资源已经部署在云平台上，小团队只需要筹集资金，就可以直接使用。这让拥有新想法的人可以在更小的组织里开始工作，也可以依赖谷歌等云计算公司提供基础设施。

Discovery Loop现在大约十个人。十个人坐在同一个办公室里，所有人都关注同一个使命，可以减少大型组织中的分散因素。

大型组织当然有自己的优势。我在谷歌工作多年，也从中受益很多。现在走出来会让人紧张，但同样令人兴奋。

本文来自微信公众号“腾讯科技”，作者：值得关注的，36氪经授权发布。