跨学科注意力机制访谈系列开篇

回顾过去七年 AI 技术路径的主线，Attention 是几乎所有关键进展的共同底层。它不仅是一种模型组件，而是一种关于结构、焦点与信息分布的范式，更一种技术方法论的迁移。

从那一刻起，我们就已经进入一个新的时代。

站在今天的节点上，我们将围绕 Attention 开展深度的系列访谈，聚焦于 “注意力机制” 的跨学科研究。

本文是绿洲开启本次系列访谈前的一次问答，试图厘清一个问题：如果这不是回顾或者致敬一个经典话题，那么在今天，我们为什么需要重新谈谈 Attention？

其实被噪声覆盖的，不仅仅是图像，还有市场。

2022-2023 年上半年，当时的市场主流的讨论话题，是在犹豫和争论 AI 到底是不是个巨大的泡沫，以及讨论这一代 AI 和上一代 AI 到底有没有区别。在噪声中，绿洲于 2023 年上半年完成了今天我们大部分在 AI 和具身智能方向的核心投资组合构建，包括 MiniMax、Vast、Boson、逐际动力、千寻智能、极壳科技在内的近二十个项目。

因为我们相信，这是一次超越工业革命级别的创新，时间更短，能级更大。

而后我们启动了绿洲第一次深度访谈系列，主题是 “AI”。

启动的动机来自于在我们构建这些 AI Portfolio 时的一个认知：这不是一场由产品或者运营模式变化带来的革命，而是以人工智能前沿技术为核心的一场科学探索。因此必须退一步，回到最本质的 “AI 到底是什么” 的问题上去探讨——我们需要和全球一线的教授和学者去交流，去讨论人工智能是什么？GPT 是什么？讨论我们当时正在目睹的一场场变化，到底建立在哪些技术和认知之上？

在当时，绿洲访谈了全球范围内几十位教授，通过这些深访形成了一个认知：我们所看到的大模型，本质上是未来的基础设施。在二元世界里，智能将被标准化地管理和分发，如同今天人类的电力系统，将模型能力供给给所有需要用 “电” 的地方，而这些被供给的终端，就是人工智能时代的 “电器”。

这个认知成为了绿洲 AI 系列第一次深度访谈的收束点，同时也成为一个新的问题的开端：如果我们已经理解了 “供电系统” 的形态，那么未来的 “家用电器” 会是什么？

于是绿洲开启了第二个深度访谈系列——Agent。

2023 年 7 月，市场上主流的观点聚焦于两个方向的押注：一个认为未来属于垂直领域的大模型，另一个则相信通用大模型本身的演进。在当时，很少有人跳出模型本体，去关注承载模型能力的系统形态——Agent。

尽管我们不断撰文、并在《投 AI 最猛的人》那篇对谈中强调一个判断：我们不认为未来属于垂直模型，模型通用性必然会成为终局。但关注通用性还不够，更应该关注的是模型能力如何被封装为接口，也就是绿洲所看到的 Agent。

Agent 才是未来。

时至今日，Agent 已成为 AI 领域的一门显学，但退回到 2023 年年中，它既不受主流市场的青睐，也缺乏理论上的统一认知。

于是绿洲启动了第二次深度访谈系列，以 Agent 为主题，再次在全球范围内寻找顶级的研究者与教授，思辨和探讨一个本质的问题：当我们谈论 Agent 的时候，我们到底在谈论什么？

这个系列持续了快一整年，直至 2024 年 8 月，在对谈过程中，答案也逐渐显现：Agent 不是一个割裂的东西或者某种套壳：从微观看，Agent 是一个可被激活和适配的行为单元，接近一个生命体；从宏观看，Agent 更像一条河流。

本质上，Agent 是一个由大模型驱动，基于具体场景展现出来的一个需求和智能一体化的服务。它的核心并不是工具，而是一种存在方式。

至此，第二次深度访谈系列也落下帷幕。

我们感谢过去在 AI 和 Agent 的两个系列中与绿洲深入对话的众多研究者，他们共同构成了探索这场变革的关键路径。接下来，也就是现在，我们要开启第三次以 Attention 为主题的深度访谈系列。

那么回到本文最开头的问题：什么促生了我们第三次的选题？

正如文章开篇提及的那篇著名的论文《Attention is All You Need》，一直以来，人类始终都在试图教会机器一个东西：

什么是注意力?

但，人类为什么执着于教会机器理解什么是注意力？

举个简单的例子，当人类在驾驶汽车时，会本能地注意到路牌的变化，或者一只突然蹦出来的小兔子，但 AI 却未必能做到。这当然不是因为 AI 不够聪明，恰恰相反，正是因为人类的大脑算力极其有限，处理能力远不及视网膜所接收到的信息总量，才迫使我们进化出了一套叫注意力机制的东西。这套机制得以让人类快速锁定当前最重要的信息，并屏蔽掉一些当前不那么重要的噪音。

遗憾的是 AI 本身并不具备这个机制。因为在 AI 的世界里，所有的像素点是平权的，在拥有无限算力的前提下，它会试图完整处理一切输入。因此长期以来，人类一直在试图找到一种方法论、构建一种新的范式让 AI 拥有注意力，且具备良好的扩展性（Scaling Law），相信这样 AI 便能够更好地处理信息。

随着技术探索的发展，我们欣然地看到，例如绿洲被投企业 MiniMax 近期发布的 Flash Attention （闪电注意力机制）, 在 Transformer 架构内部对注意力模块进行了优化，显著提升了训练与推理阶段的算力效率，让 Attention 本身在算法层面实现了突破；而注意力机制的意义，也早已突破了模型结构优化本身。在过去几年中，Attention 不仅推动了语言模型的突破，也逐步渗透进脑科学、认知科学、心理学等多个学科领域。我们开始意识到，AI 学习注意力的过程，反过来也正在帮助我们重新理解人类自身的感知与认知。

所以结论是什么？

结论是我们看到 AI 正在展现出一条双重演进的路径：一方面，全球的学者试图在 Transformer 的结构上尝试更大规模的训练；而另一方面，在认知结构和算法框架层面都在尝试进一步创新，去提升和推动 AI 学会那个我们一直希望它学会的问题——什么是注意力。

如果今天我们还要继续深入理解 AI 的未来，那么下一步探索的，应该指向一个更加本质的问题：

在一个由人类与 AI 共同构成的系统中，注意力究竟意味着什么？

再往前迈一步，当我们从技术研究走向人类社会自身的审视，当 Agent 成为社会的主要生产者、当他们越来越了解人类，人类自身的注意力机制将受到前所未有的挑战。20 年前我们阅读书籍，10 年前我们看电影，5 年前看短视频，现在我们将迷失在人工智能生成的无限碎片化信息中。

我们的任何一个念头都可以指向无限信息，世界将进一步割裂。

于是，一个更加深层的问题也开始浮现：当人类在帮助 AI 去学习和提升注意力时，我们如何保护自己的注意力？

答案也许不那么乐观。

数据显示，一个人平均每天会拿起手机超过 500 次，注意力的持续时间正在被压缩到不足 100 秒。从长篇电影到短视频，从深度阅读到信息切片，人类所能维持的注意力窗口正处于持续衰减的状态。与此同时，AI 正在将信息获取与响应的速度提升至前所未有的水平。如果未来出现一个超级 AI，能够精确捕捉人类偏好、预测需求、生成所有想要的内容，那么人类注意力机制还会进一步下坠，甚至注意力本身是否也将被外包？人类最终是否会把 “注意的权力” 彻底交给机器？

佛家说 “意识心”，所谓人的心意识停留在哪里，世界就显化在哪里。用信号学的观点来看，注意力决定意识频率，我们的频率在哪里，时域就在哪里。转换到科学语言体系里其实是相似的：一个人最终的自我管理其实就是注意力的管理。在这个 AI 与人类注定共生的时代，对 “注意力” 的理解不仅是厘清 AI 技术发展的必须，也是人类自身发展的必要路径。

帮助 AI 构建注意力的同时，也帮助我们自己保护注意力。

这就是对本文开头问题的回答，也是我们的第三次深度访谈系列的出发点。

这个系列会比我们前两次持续的时间更长，绿洲也会花更多的时间和资源去完成它。我们相信在做这件事的过程中，会遇到志同道合的朋友们，期待和各位一起去构建新的认知。

本系列首期内容将于 8 月发布，后续将按月持续更新，希望你 Enjoy。

参赞生命力。

本文来自微信公众号“緑洲资本 Vitalbridge”，作者：参展生命力，36氪经授权发布。