“额度想重置就重置”,Codex负责人Tibo谈OpenAI幕后:产品没做好就补偿、ChatGPT与Codex合并、暂停部分前沿模型RL训练
“只要我认为时机合适,随时都可以按下那个「重置」按钮。”
“我不太关注竞争对手,我真正看重的是我们能独特地做好什么,我们的价值观是什么,以及我们如何最大限度地向这些目标加速。”
“未来的模型显然需要比单台笔记本电脑更多的资源。”
......
最近频频在 X 上宣布为用户重置 Codex 使用额度的 Tibo Sottiaux,又抛出了不少耐人寻味的观点。
作为 OpenAI 产品负责人,Tibo 曾在 Google DeepMind 工作,如今则负责 OpenAI 核心产品,亲历了从早期语言模型到 ChatGPT、Codex 等产品不断演进的过程。更有意思的是,他口中的那个“重置按钮”,甚至真的被做成了一枚实体按钮——在他看来,只要产品体验出了问题,或者用户值得获得一些补偿,他就可以直接按下去。
时下,他在接受科技博主 Matthew Berman 的最新一期访谈,罕见地聊起了不少 OpenAI 产品和模型研发背后的故事:从 ChatGPT 与 Codex 为什么最终走向合并,到未来 AI Agent 会变成什么样;再到为什么 Sam Altman 曾叫停部分前沿模型的强化学习(RL)训练,Tibo 几乎把 OpenAI 如何做产品、做模型以及分配资源的思考,都摆到了台面上。
而这些看似分散的话题背后,其实都指向一个更大的问题:当 AI 能力以越来越快的速度向前发展,OpenAI 究竟该如何判断什么值得做、什么值得投入,又该如何在不断变化的技术浪潮中找到自己的位置?
这场访谈里,Tibo 给出了他的答案。
完整采访:https://www.youtube.com/watch?v=4qjEgPojjzM
01
DeepMind 早有 ChatGPT 级产品,只是不敢发
Matthew Berman:Tibo,非常感谢你接受我的采访。
Tibo:当然,很高兴来到这里。
Matthew Berman:我想先从你在 Google 的那段经历聊起。当时你在 DeepMind 团队。其实在 ChatGPT 出现之前,Google 内部就已经有一个叫 LMChat 的项目。你曾在推特上提到,Google 当时太过谨慎,不敢把它发布出来,甚至还禁止 DeepMind 发布任何可能颠覆 Google 核心业务的产品。那么,如今回忆起来,当时你在开发这些领先于时代的产品时,心里究竟在想些什么?
Tibo:那确实是一个非常令人兴奋的时期。DeepMind 是一个极具创造力的地方。当时,我主要负责基础设施以及加速研究相关的产品。团队里还有一个专门研究语言模型及其规模化的小组,而且已经取得了非常出色的成果。
于是,一个很自然的想法就出现了:能不能把这些成果做成一个可以对话、能够应用于各种场景的工具?LMChat 就是在这样的背景下诞生的。当时,我们内部确实有过将它进一步做成公开产品的想法。
Matthew Berman:那是在哪一年?
Tibo:大约是在 ChatGPT 发布前一年。除了 LMChat 之外,我们当时还在开发各种各样的东西。虽然现在不方便具体透露,但可以说,那里的创意密度非常高。不过,当时的 DeepMind 并不是一个以发布产品为主要目标的机构。
相比之下,OpenAI 完全是另一种氛围。在 OpenAI,研究团队和产品团队之间的协作非常紧密,我们会一起设计很多东西。我们有非常强烈的“发布倾向”,希望尽快把技术真正交到用户手中,让更多人从中受益。这也是吸引我加入 OpenAI 的核心原因:使命感、人才密度,以及对产品化的极致追求。
Matthew Berman:在开发 LMChat 的时候,你就意识到它会成为如此特别的东西吗?
Tibo:当时确实感觉很特别。那是我们第一次意识到,模型可以生成如此连贯且有用的文本。起初它更多是显得有趣(Funny),但逐渐地,它变得越来越有用(Helpful)。
Matthew Berman:你提到你经常思考这段经历。在很多方面,Google 确实绊倒了自己。你从 Google 带到 OpenAI 的最重要教训是什么?
Tibo:我经常会从团队文化以及 OpenAI 整体文化的角度来思考这个问题。OpenAI 有一种自下而上、充分授权的文化。大家可以提出各种各样的想法,迅速聚在一起展开合作,然后非常快地把产品做出来、发布出去。对于新产品的想法,这里几乎没有什么阻力。这种氛围非常令人振奋,而对我来说,保护好这种文化至关重要。
另一方面,我们也非常强调简洁和一致性,不希望产品最终变成功能的杂乱堆砌。我们对产品质量一直很自豪。比如 ChatGPT 的 iOS 应用,我认为它是目前市面上最好的 App 之一。我们在“用户愉悦感”、性能、效率和简洁性上投入了大量精力。也就是说,在充分赋予每个人尝试新事物的空间的同时,也要始终守住这些核心原则。
Matthew Berman:如果你要给一些创业者关于如何培养这种文化的建议,有哪些具体的要素或者 OpenAI 内部的某些做法可以提供参考?
Tibo:首先,要有信念。其次,要找到一种方式,让用户参与进来,并根据他们的反馈快速迭代。最后,还要敢于自我颠覆。
对于 OpenAI 这样的公司来说,这一点尤其重要。我们不断会有新的研究成果和创意出现,你必须能够判断,什么时候应该把资源投入这些新方向,即使这意味着要从现有的核心业务中重新分配资源。这很难,但能做到这一点至关重要。
Matthew Berman:这正是你描述的 Google 没能做到的地方。
Tibo:公平地说,Google 也有一个宏大的计划,但对我个人而言,那里不是最合适的地方。
Matthew Berman:随着公司逐渐成熟,尤其是有了一个像“摇钱树”一样持续盈利的产品后,保持这种发布倾向和自我颠覆的意愿是否会变得更加困难?
Tibo:我们是一家具有前瞻性的公司。AI 会走向哪里、未来会是什么样,以及人类如何从中受益,这些宏大的问题不会停下来等着我们消化过去几个月取得的成果。我认为,积极参与其中非常重要。同时,也要保持敏锐,睁大眼睛看清这一切正在朝什么方向发展。只有这样,你才能知道自己该如何定位,才能真正抓住那一波浪潮。
即使在 OpenAI 内部,我们也经常在训练完模型后才发现它的新能力。基准测试并不能告诉你一切。我们需要大量把玩模型,才能意识到:“噢,我们以前没想过它能这样造福人类”,或者“它居然能做到这个”。这会改变我们对产品的思考。
比如我们最近推出的新版 ChatGPT 语音功能,对话感觉非常自然,而且它现在具备了工具调用能力。
这彻底改变了我的使用习惯。我现在花更多时间直接与它交谈或进行听写,因为它的效率比打字高得多。早晨我会拿着手机,对 ChatGPT 交代几件事,它就能直接访问我的工具并完成任务。在拥有如此强大的语音模型之前,这是无法想象的。
02
笔记本撑不起下一代模型,算力瓶颈已经显现
Matthew Berman:让我们继续讨论新模型。你几周前发推说,Codex(OpenAI 的代码模型)在两三个月内就会显得过时,下一代模型需要的资源将远超一台笔记本电脑。随着模型能力的提升,Harness 的哪些方面仍有创新空间?
Tibo:太多了。目前的资深用户在使用 Codex 或其他 Coding Agent 时,其实已经习惯了一些“笨拙感”。比如你必须手动管理 skill files(技能文件),这虽然是教导 AI 的一种方式,但很多人已经意识到,随着时间的推移,这种方式很难维护。
记忆力也是个问题,它并不总能记住所有事情。如果你使用子代理(sub-agents),你就必须操心这些子代理并构建一个小网络。当你与之交互时,那种“智能”的幻觉会在多个环节破灭。而你真正想要的,是一个能深度理解你、理解你的目标、理解你的日常工作,甚至理解你的团队动态的工具。它应该能以最优的方式做出反应,同时具备前瞻性,在日常工作中协助你且不打破那种完美的协作感。这就是我们正在努力的方向。
另外,你会发现性能强大的模型会让笔记本电脑本身成为瓶颈。笔记本电脑是为人类设计的,它处理工作的能力大致匹配人类的产出:你的打字速度、思考速度、需要同时打开的应用数量。这些都是人类的局限,但模型没有这些限制。未来的模型或许能同时完美处理 100 个应用程序。就资源获取而言,未来的模型显然需要比单台笔记本电脑更多的资源。
Matthew Berman:我猜你指的是云端代理。当我们谈论像 UltraFast 这样、Token 速度比现在的“快速”还要快 10 到 14 倍的技术时,带宽限制就发生了变化。现在 CPU 成了带宽瓶颈,工具调用、网络请求以及堆栈中的任何开销都成了限制因素。
Tibo:没错。网络请求、工具调用,协议栈中的任何开销都会变成限制因素。但你可以通过并发来补偿:模型可以一边探索问题,一边写测试用例,同时进行编译和验证假设。这种高度并发的处理能力会彻底改变我们对产品的认知。
Matthew Berman:在目前的 Token 速度下,我发现自己会并行启动 10 到 15 个 Agent。但这对我来说产生了相当大的认知负担,因为我需要不断切换上下文,等待 30 到 45 分钟任务才返回。有了 UltraFast 的速度,工作流将发生巨大变化。我可能不需要同时开 15 个 Agent,也许一次只开 3 到 4 个。你认为个人开发者的工作流会如何随时间演变?
Tibo:管理并对用户保持“友好”,是我们非常关心的。毕竟我们是在为人类开发工具,试图打造能赋予人类最强能力的个人技术。这需要围绕你的多任务处理能力、你管理注意力的方式,以及你希望现在还是 30 分钟后收到反馈来构建。
当 UltraFast 的速度与语音结合时,AI 的运行速度可以与你持平甚至更快。你能保持在“心流”状态中,实时进行构思、查看原型、生成报告。这种体验非常好。
一旦习惯了这种流畅感,你就不会想回到过去那种同时开启 10 个 Agent 并反复切换的状态。我们正努力带来这种极其自然、且感觉是为你量身定制的体验——不是让你去适应技术,而是让技术适应你。
Matthew Berman:过去几个月讨论了很多代理编码技术,比如 Loops 和 Graphs。这些技术是否都是为了让个人开发者能更轻松地管理?
Tibo:我将这些问题分为两类。第一类是构建最好的“个人 AGI”或个人 Agent。它能与你保持同步,具有前瞻性,能提出重要的新想法,并极其高效地执行你的指令。无论它是解决技术问题、做研究还是提供建议,它都是高度定制化的,深植于对你这个独特个体的理解。
第二类是完全的自动化。即构建能处理复杂流程的智能系统。例如,自动查看生产日志并进行性能优化,或者观察回归测试并自动修复。在网络安全领域,我们也能看到这种应用:扫描器发现漏洞后,系统自动修复,将风险窗口缩短到接近零。这一切都无需人类干预,或者只需人类审批高风险操作。在这些自动化系统中,你是否拥有直接控制权并不那么重要。
03
ChatGPT 和 Codex 为什么合并?
Matthew Berman:ChatGPT 和 Codex 在过去几个月里一直处于合并的过程中。我想先问问,这个进展如何?内部感觉如何?你从客户那里得到了什么反馈?
Tibo:这确实是一件非常有意义的事情。最初我们收到的反馈是:“为什么要把它们合并?真的有必要这么做吗?”答案是肯定的,我们未来的模型需要它们被合并。所以我们最终还是这么做了,因为这是最简单、也是正确的选择。
我们正在打造一个高度个性化、功能非常强大的智能体,它可以通过各种方式帮助你。底层采用的是相同的技术、相同的架构,以及我们对它一贯的思考方式。它具备高度多模态能力,以语音为优先,同时非常高效。无论你是不是在编程,这个智能体都能够胜任各种任务,并以最高效的方式完成。
至于你所需要的界面,它应该根据你的需求进行调整,而不是预先假定“我是程序员,所以我需要程序员界面”,或者“我不懂技术,所以我需要非技术界面”。人本身就是多种多样的。我们发明了“软件工程师”“设计师”等各种标签,只是因为现实过于复杂,人类需要借助这些概念来理解和处理它。但归根结底,每个人都是独特的个体,在这个光谱上的位置也各不相同。
所以,我们希望打造一个能够真正适应每个人的界面。无论你是否懂技术,它都会根据你的具体需求和个性进行调整。这就是我们决定这么做的原因。
Matthew Berman:这是否意味着最终它会变成一个单一的界面?不再有在产品之间切换的下拉菜单?想到我妈妈可能会和我使用完全相同的界面,这确实挺神奇的。当然,它会根据我的需求进行定制,如果我正在做更复杂的工作,我可能需要更多信息。但对你来说,最终的状态是什么样的?
Tibo:没错,就是同一种东西。你和你妈妈将使用相同的东西,它将是你的个人 AGI。你们会有截然不同的任务和用途。你会把它连接到生活中不同的工具,带来不同的想法和需求,然后它会不断地自我调整,以最大限度地造福你。它对你的朋友和每个人也都会这样做。
Matthew Berman:我想回到你刚才说的一点。你几次提到了“幻觉”这个词。在那个最终状态下,对于典型用户来说,完美的交互体验是什么样的?如果你能展望几年后,AI 与人类之间的互动会是什么样?
Tibo:对我来说,它应该是一种非常贴近人类的技术。
这也是大语言模型(LLM)能够取得成功的原因之一:它使用的是自然语言。而自然语言本身就是人类创造出来的,我们已经习惯了通过交谈来沟通。比如,如果你明天给我写一封信,我完全可以读懂它。我们彼此足够熟悉的话,我甚至能够从信中感受到一些情绪和微妙之处。
这些都是非常具有人性的东西。所以,我们正在构建的技术,也应该根植于人性,根植于人类沟通和完成任务的方式。不应该再出现这样的情况:“你误解了我,因为你没有完全理解我的语气,也没有真正理解我文字背后的意思。”这正是我们希望避免的。
我们真正想做的,是让人去适应技术,而不是让技术要求人去适应它。技术应该成为人类在这个世界上沟通、行动和完成任务方式的一种自然延伸。
Matthew Berman:当我想到人与人之间的交流时,很大一部分是非语言的——比如我移动双手的姿势、面部表情。你认为在未来,AI 能通过视觉感知或读取多少这类信息?这是否重要?因为你现在描述的是纯文本。对于我们这些在网络环境下长大的人来说,我们非常习惯通过文本交流,并在文本中加入微妙的语调来传达真实意图。但让 AI 能够读取我们的面部表情、手势等等,是否依然重要?
Tibo:我认为这是非常重要的。当我思考我们正在构建的未来时,我希望它是一种环境化、非常自然的体验。比如,稍后我回到办公室,在白板上写下了一些东西,突然有了一个想法,AI 也应该能够出现在那里,理解我在做什么。或者,我可以直接对它说:“嘿,你觉得这个怎么样?”然后,我们就可以通过语音进行自然的交流。
自从我们发布新的 ChatGPT 语音模式以来,它的使用量确实出现了爆发式增长,通过语音与 ChatGPT 互动的用户数量增长得非常快。这里面有一个很重要的启示:当你提供一种更自然的交互方式时,人类总会选择阻力最小的那条路。
正如你所说,在一个小框里打字,对有些人来说可能很自然,但并不是所有人都这样。当有一种更简单、更好的方式摆在面前时,人们往往会自然而然地选择它。
04
“我不怎么看竞争对手,我真正看重我们能做成什么”
Matthew Berman:首先恭喜你们。我看到你今天早上发布的消息,Codex 的用户达到了 2000 万。我看过那个增长图表,有一段时间是平稳的,然后突然变成了垂直增长。所以,恭喜。
我想谈谈与 Anthropic 的竞争,因为很多人认为 OpenAI 和 Anthropic 是行业内目前两个主要的竞争对手。曾有一段时间 Anthropic 似乎抢走了所有的风头,但突然之间情况发生了变化。你对现在的市场有什么看法?
Tibo:现在我们专注于构建最强大的模型,构建高效的模型,并以能为每个人提供产品而自豪。我认为 OpenAI 做得非常好的一点是关心这个世界,关心我们如何将这种非常强大的技术交到尽可能多的人手中。
这就是我们合并 Codex 和 ChatGPT 的初衷——这种愿望。我们拥有这项技术,我们可以让它更安全,让它更容易被每个人使用,无论你是产品经理、设计师、销售、市场还是公关,你都应该能够使用所有这些功能。
然后我们通过已经拥有大量用户的 ChatGPT 快速分发。这确实推动了你提到的这种增长。我不怎么看竞争对手,我真正看重的是我们能独特地做好什么,我们的价值观是什么,以及我们如何最大限度地向这些目标加速。
Matthew Berman:我想再深入探讨一下,因为我知道你不太考虑 Anthropic,但其他很多人都在考虑。他们在思考该相信哪个产品,该把钱花在哪个产品上。当你观察 OpenAI 的市场地位、品牌和语气,以及它与开发者和更广泛受众互动的方式时,你认为这与 Anthropic 的方式相比如何?
Tibo:我非常在意的是构建社区,为世界而构建,带着大家一起前进。
你可以从我们对事物的透明度中感受到这一点。我们从社区中吸取了很多想法。说实话,这非常有意思,因为我们从中获得了巨大的能量。我们构建这项技术不仅仅是为了我们自己,也不仅仅是为了加速 OpenAI。使命非常重要,这也是我们能量的来源。对我来说,这感觉非常接地气、很有趣,并因此产生了好的结果。
05
“我随时可以按下重置按钮,不用层层审批”
Matthew Berman:让我们谈谈其中一些好的结果。我想谈谈“重置”。似乎每个人都在因为这个关注你的每一条推文。具体来说,再次观察 Codex 的增长曲线,这些“重置”在多大程度上促进了市场营销和增长?还是说这仅仅是对开发者社区的一种善意?
Tibo:这可能有点反直觉,但 OpenAI 是一个可以真正放手去做事情的地方。所以在最初的产品迭代中,如果我们不小心把什么东西弄坏了,或者因为配置有误导致用户体验不如预期,那么给用户一些补偿是很自然的选择。
我们会告诉用户:“感谢你愿意尝试这些产品。我们知道现在还处于早期阶段,我们也在努力把它做好。如果因为我们的失误导致服务中断了 30 分钟,我们会额外给你一些使用额度作为补偿。我们知道这对你很重要,你可能依赖这项服务,也感谢你成为我们的用户。”
这就是这件事最初的由来,也是我现在一直坚持的做法。如果我们把产品弄坏了,或者用户体验不佳,而我们又还没有完全弄清楚问题出在哪里,那么我们就应该进行补偿,比如重置使用限制。
后来,这件事逐渐变得越来越重要,现在甚至已经有了一个专门的“重置”按钮。但这背后并没有太多复杂的审批流程,也不需要和市场部或财务部协调。只要我认为时机合适,随时都可以按下那个按钮。
这就是我们一直坚持的原则:我们努力去打造令人惊叹的产品;如果没有做到,就应该想办法弥补。
Matthew Berman:我依然觉得这种做法在社区中建立了很多好感,在某种程度上促进了增长。
Tibo:关心用户确实能起到很大作用。你可以只在口头上说你关心,也可以像我们这样通过实际行动证明:我们真的在意,如果我们弄坏了它,真的很抱歉,这是我们的弥补方式。
Matthew Berman:这有点像亚马逊的退货政策:如果你有任何不满意,尽管退货。你也在 OpenAI 建立了一种类似的文化认知:如果我们犯了错,请继续使用这些 Token。
Tibo:此外,还有一些我们想要庆祝和纪念的好时刻。有时候并没有比给用户更多额度更具意义的礼物了。我们会一直推出新功能,并尽可能广泛地发布。为了与整个社区分享,我们会说:“去探索这个新功能吧,你还没试过 Ultra,这里有一些额外的额度,去试试吧。”
06
模型正在优化模型,已经进入递归自我提升阶段
Matthew Berman:不过,只有在完成了大量的算力容量规划后,你才能进行这些大规模的重置。你必须有足够的算力来支持这些重置。我想谈谈自我改进。说到容量,几周前你发布了一篇文章,提到 Sol 优化了 Luna 的效率。你将 Luna 的价格降低了 80%,Terra 的价格也有所下降。Luna 的效率提升有多少是算法带来的,又有多少是因为出色的算力容量规划使得利润空间足够大,从而可以降价来吸引用户?
Tibo:我们提前规划了算力。如果你回看两年前,OpenAI 曾因为在算力上投入如此之大而受到质疑。现在我们很高兴拥有它。很大一部分算力用于研究,我们投资于未来和更好的模型,以及我们现有模型的效率。
令人惊奇的是,当我们突破最先进模型的性能边界时,我们可以利用这些模型非常快速地找出如何服务、重构或重新设计我们的架构栈,从而获得显著的效率或性能提升。我们不仅提高了成本效率(我们也会发布相关内容),还提高了速度效率。除了 Ultra 模式之外,其他东西的速度都在不断提升。如果你把数据画成图表,现在的速度比三个月前快了大约 60%。
我们正在审查架构栈的每一部分,确保针对我们的工作负载进行优化设计。我们拥有的最强大的模型,让我们的一支小团队能够实现这些目标。每当我们获得显著的效率提升和成本优化时,我们的承诺就是保持性能成本的最佳平衡,而不是私藏这些效率增益,而是与我们的客户和用户分享。这就是我们对 Luna 所做的。
Matthew Berman:你们内部是如何讨论计算资源分配的?在研究新模型、提升现有模型的效率以及推理成本之间,你们是如何权衡这种张力的?
Tibo:我们通常从第一性原则出发来看待问题。我们有专门分配给研究的资源,也有分配给产品的资源。在产品内部,我们会做出不同类型的权衡。但这一次几乎谈不上是权衡,因为效率提升是实实在在的。我们能够使用相同的计算包络来支撑显著增加的吞吐量。
Matthew Berman:几个月前,在价格下调的公告之前,我看到一篇博客文章提到一个模型在训练下一个模型,或者在帮助优化下一个模型。然后我们看到了仅仅通过观察 Luna 的运行方式就实现的效率提升。这在我看来,像是处于早期阶段的递归自我提升。你对此有什么看法?这就是正在发生的事情吗?
Tibo:递归自我提升现在确实是一个巨大的话题。它最常被应用于研究领域,即模型开发其他模型。但我们现在看到巨大成功的,是利用这些模型来开发处于使用这些模型的关键路径上的基础设施。这也是一种递归自我提升的形式。无论是推理栈、硬件优化,还是我们使用的 CUDA Kernel,甚至是开发与这些模型交互的新产品和新方式,都在追求更高效。
你提到了云端 Agent,如果我们真的攻克了云端 Agent,生产力会突然大幅提升。这是否也是一种递归自我提升?因为你拥有了更好的能力从模型中获取效用。我认为从某种意义上说是的,但它更多体现在基础设施上,然后再将其反馈给模型本身。我们当然在做这些事情,如果不这样做,那就太愚蠢了。
07
OpenAI 为何会暂停前沿 RL 训练?
Matthew Berman:既然聊到了递归自我提升,Sam Altman 曾提到过暂时搁置绝对前沿的强化学习(RL)研究。你能聊聊这个决定吗?当时的情况是怎样的?我知道我们简短讨论过 Hugging Face 事件,但那个决定背后的讨论过程是怎样的?
Tibo:这属于研究范畴。OpenAI 总是能够将资源投入到最重要的地方。随着模型能力的增强,对齐(Alignment)和安全性显然变得愈发重要,因此在这里投入巨大资源对 OpenAI 来说是很自然的事情,也是我们坚定承诺的方向。
这次暂停是为了让团队和个人能够真正理解并加固系统的所有部分,以确保我们能在完全掌控的情况下重新开始训练。我相信 OpenAI 在必要时会一直这样做。在内部决策方面,我们能够非常高效地做出这类决定。
Matthew Berman:是否有一个预设的目标,明确要求在取消暂停之前必须达到某个特定点?还是说“我们看到目标达成时自然会知道”?
Tibo:这是由安全团队负责的。这很大程度上是一个随着进展不断讨论和发现的过程。但他们确实达成了一套非常明确的原则,一旦达到这些原则,我们就处于一个良好的位置。
Matthew Berman:让我们回到“极速模式”(Ultra Fast Mode)。我觉得人们还没意识到这种速度能释放出什么样的潜力。你们内部有哪些在使用极速模式、但在之前低速情况下无法实现的用例?
Tibo:我们发现当风险很高时,极速模式被大量使用。例如当发生故障时,事故指挥官和响应团队会获得极速模式的使用权限,因为每一秒都很关键。高风险场景确实值得使用极速模式。
另外有趣的是,那些正在处理关键任务或认为自己正在处理关键任务的团队,也总是要求使用极速模式。比如有人在构思一个新想法,他们觉得这可能很特别,但必须在周一决定是否将其纳入开发者大会(DevDay),这时极速模式就派上用场了。
人们对工作方式有不同的偏好,是喜欢单线程处理还是喜欢多任务并行。对于喜欢多任务的人来说,极速模式的收益可能没那么明显;但有些人不喜欢频繁切换上下文,他们希望保持专注和心流,对他们来说极速模式体验极佳。
Matthew Berman:你在这两者之间属于哪一类?
Tibo:我有 ADHD(多动症),所以我一直在切换上下文。
Matthew Berman:这很有趣,因为我也有 ADHD,但我其实不想频繁切换上下文,那对我来说很难。我更愿意专注于两三件事,这也是为什么极速模式让我兴奋。
Tibo:我在切换上下文和做大量细微决策中感到如鱼得水。但有时我也想专注于一件事,那时极速模式就太棒了,它能让你保持在心流中。
极速模式在工具调用(Tool Calls)较少或生成内容较多的场景下表现极其出色。例如如果你在原型化一个网站或视频游戏,需要编写大量代码,它的速度会提升 10 倍。但如果涉及大量工具调用,开销在网络或其他 Agent 轨迹中,你可能只会感受到 3 到 4 倍的速度提升,而无法感受到完整的 14 倍。
Matthew Berman:我知道 OpenAI 的员工有无限量的 Token。如果换做是我,我肯定会一直开着最强的思维模型(比如 5.6 Sol)和极速模式。在内部是这样的吗?
Tibo:我们不会给每个人都开放极速模式,我们会为外部用户和客户保留大量容量。OpenAI 的员工有能力消耗掉所有的资源——所有的生产环境 GPU 和极速模式额度。但我们不会这样做,我们会进行限制,以确保我们在理解产品并持续改进的同时,将绝大部分资源留给客户。
Matthew Berman:除了 OpenAI 内部,你最看好哪些由这种速度解锁的对延迟敏感的外部用例?
Tibo:我对非文本交互非常感兴趣。比如在共享画布上操作,创作东西,生成不同的创意或图像,然后选择一个,像“选择你自己的冒险”一样。通过语音或文本实时引导原型设计并迅速看到结果。这种极具创意的过程正是这些速度所允许的。作为工程师,有时你需要坐下来设计整个系统,考虑权衡和需求;但也许现在你可以在一分钟内创建它,看看它的实际效果,更沉浸在心流中,更直观地感知事物。
Matthew Berman:我假设极速模式的价格会比正常速度高很多。你认为极速模式会成为未来的标准,还是会一直保持溢价?
Tibo:我认为它会遵循技术发展的普遍规律,随着时间的推移变得越来越普及。Agent 完成任务的速度会持续提升,我们每个月都能看到巨大的进步。这不仅是推理速度,还包括模型的 Token 效率。Sol 模型比 Terra 模型高效得多,下一个模型也会比 Sol 更高效。随着推理和硬件的持续创新,也许在一两年内,这种速度即使不成为默认标准,也会非常接近默认标准。但届时,你可能又会有更高一级的需求,可以用更多的硬件和成本去换取额外的性能。
08
低成本大模型会普惠所有人
Matthew Berman:最后一个问题是针对大众读者的。现在很多人对 AI 感到焦虑,无论是担心工作自动化、环境影响,还是这种新事物带来的陌生感。你会给这些听众什么样的鼓励?
Tibo:我们通过 ChatGPT 真正为世界构建工具。我们投入大量精力提升其效率,这与广泛的准入和实用性直接相关。运行成本越低,你能用它做的事情就越多,它在日常生活中的价值就越大。
Luna 模型就是一个例子,它是一个更小的模型,极其高效。如果回退到六个月前,它也曾处于前沿水平。看看 Luna 的成本,它便宜得惊人。Replit 现在甚至免费提供它。这种获取顶尖智能的途径将变得无处不在,而这只有在持续追求效率的情况下才可能实现。前沿模型在六个月后运行成本会大幅下降。我们专注于更广泛的准入,并优化你能直接从中获得的效用。
Matthew Berman:对于那些甚至还不敢尝试 AI 的人,你有什么想说的?你能为他们描绘一个 AI 帮助世界的未来愿景吗?
Tibo:其实不必看太远,ChatGPT 已经在以非常个人且深刻的方式帮助人们了。很多人用它来辅助写作,但也有人用它获取个人建议、理财建议或医疗建议。我自己也经常使用它,它给予我很多支持。比如在看医生之前,它让我了解更多信息。你不必看太远就能发现它的效用。看看别人是如何使用它并从中受益的,这会启发你思考如何利用它改善自己的生活。
Matthew Berman:Tibo,非常感谢,感谢你的分享。
Tibo:谢谢,聊的很愉快。
本文来自微信公众号“CSDN”,编译:屠敏,36氪经授权发布。















