显卡为什么卖得越来越贵？NVIDIA 副总裁：别争了，摩尔定律早就死透了
2005 年前后，AI 在学界还是个不受待见的冷僻词，研究员们为了躲避同行的冷眼，不得不把自己的研究包装成听上去更客观的“机器学习”。2008 年，刚毕业的 Bryan Catanzaro 带着一篇用 GPU 跑深度学习的论文去参加学术顶会 ICML，台下的学者们一脸冷漠地质问他：“我们这里只讨论高深的数学，你拿个打游戏的显卡来干什么？”
那是一个属于“智能”的寒冷纪元，极少有人相信，那些笨重、发热的显卡能和人类大脑产生什么联系。
为了寻找同类，Bryan 在 2014 年选择离职，加入百度刚刚在硅谷建立的 AI 实验室。在那里，他遇到了吴恩达，以及当时还在做生物信息研究、后来创办了 Anthropic 的年轻小伙 Dario Amodei。这段经历中最让 Bryan 震撼的，是身边那些极其聪明又拼命的中国同事，他们不仅用极其开放的心态将写出的技术毫无保留地开源，更用近乎本能的直觉推动着算法落地。
这段在百度工作两年半的经历，彻底塑造了 Bryan 对底层技术和开源协作的敬畏。以至于多年后的今天，当他听到西方主流舆论嘲笑中国 AI 只会“套壳、靠蒸馏闭源模型抄袭”时，他直接反驳：“这完全是偏见，中国在开源协作的开放性上，早就是全球的领跑者。”
如今的 Bryan 已经重回英伟达，担任应用深度学习研究副总裁。在这场与 Matt Turck 录制的最新播客中，这位从荒芜时代走来的芯片老兵聊了聊大模型的硬核算力账单、摩尔定律死透后的技术求生、以及为什么他坚信“没有轮子的引擎，哪也去不了”：
天天嘲笑中国 AI 只会“套壳抄袭”完全是一种傲慢的偏见。在理解和实践“开源协作”这个维度上，中国实际上已经走在世界的最前面。
别再指望显卡能轻易降价了，摩尔定律从经济学角度看已经死透了。现在晶体管越做越小，造价却呈指数级暴涨。只靠缩小芯片设计来躺赚红利的时代已经过去，现在的加速必须靠算法、软件到芯片制造的“极端共同设计”来硬挤出来。
天天炒作“技术奇点”是一个错误且片面的观点。智能是高度多维且依赖上下文的，一个顶级的企业 CEO 和一个奥数冠军所需要的智力维度完全不同。
用 4-bit 格式进行模型预训练，极易面临模型跑飞（Diverge）的深渊。在实际训练中，稍有不慎整个模型就会数值不收敛而彻底跑飞，导致数百万美元的算力账单直接泡汤。
开源比闭源更安全，阳光和多样性才是最好的消毒剂。在安全问题上，试图由少数几家巨头垄断、在顶层强行筑起一堵围墙来定义“哪些思想安全、哪些不安全”，本身就是极其危险的做法。支持思想的多样性，让整个社会共同参与技术的评估与自我纠偏，是数百年来人类社会在实践中证明更安全的治理路径。
主持人：Brian，很期待这次对话。今年似乎是开源大放异彩的一年。你们 NVIDIA 刚刚发布了 Nemotron 3 Ultra，这是一个重要的里程碑，也是目前美国最好的开源权重模型，就在几天前发布。
而就在更近的时间，GLM 5.2 也发布了，这也是一个重要时刻。看起来开源人工智能领域的节奏正在加快。这似乎是个不错的切入点。你如何评估我们现在所处的阶段，以及闭源和开源之间目前的差距有多大？
Brian Catanzaro：看到这么多精力投入到开放的人工智能技术中，真的令人振奋，因为我们知道开放技术能让人们真正实现创新。互联网就是一个绝佳的例子。
其实我们也曾经历过封闭的互联网。不知道你还记不记得 America Online（美国在线）和 Prodigy 这类当年的服务。它们都很棒。而开放的互联网同样精彩，因为有那么多不同的公司都能借助这项开放技术，找到彻底改变自身业务的方法。
互联网在零售业的应用方式，和它在医疗健康或制造业中的应用方式截然不同。但所有这些行业都因互联网而被彻底改变。
我相信人工智能同样是一项变革性的技术，而且这项技术也需要以极为多样的方式加以应用。正因如此，我认为开放的人工智能技术是根本性的。看到来自世界各地不同机构对开放人工智能技术持续的投入和发展，真的令人振奋。我希望这一趋势能延续下去。
主持人：那你觉得开源目前落后闭源多少？这是过去几年的一个大趋势——差距在不断缩小。你觉得开源是不是已经快追上了，还是说闭源模型不断在拉高标杆？
Brian Catanzaro：我觉得这个问题可能有点“诱人”，因为把它设定成一场竞赛会很有意思，但我其实认为，整个人工智能社区都在飞速前进。
如果你去看人工智能的进展——无论是闭源还是开源——就单看过去三个月，进步都令人惊叹。所以如果你身处一个发展如此迅猛的领域，我认为这比任何特定模型之间存在的差距都更重要，因为最重要的问题是：人工智能作为一个领域正在如何演进？
主持人：你觉得推动开源人工智能持续进步的动力是什么？是社区？是像 NVIDIA 这样的大公司在背后支持？还是与中国的全球竞争？是什么在推动开源人工智能向前发展？
Brian Catanzaro：我认为有很多因素在推动开放的人工智能技术向前发展。其一是需求本身。有大量机构希望定制人工智能，希望将其深度整合进自己的工作流程，而这种整合方式确实需要开放的人工智能技术。所以需求肯定是存在的。
我也认为，这本身就是发展技术的最佳方式。几十年来我们一直看到，在开放环境中开发的技术会发展得更快，因为我们可以彼此学习。
在这样一个时代——人工智能的发展和落地，是我们这一代人一生中所见过最激动人心的科技事件——计算机科学家还能有什么更值得投入的事情，除了让人工智能变得更强大？如果携手合作作为一个社区来实现这一点是最佳方式，那么这本身也会推动整个社区走向开放式的技术开发。
主持人：我想问一个可能略带批判性的问题：至少有一部分社区在质疑，开源生态系统（不是指 NVIDIA，而是整体而言）之所以能不断进步，部分原因是能够对闭源模型进行蒸馏。而如今，Anthropic 和 Fable Five（Fable 5）这些机构开始不鼓励蒸馏行为，你觉得开源人工智能的进步是否有可能因此放缓，或者说因此受到影响？
Brian Catanzaro：在我看来，毫无疑问，当整个科技社区决定在这个时代最具变革性的技术上投入巨资时，进步一定会突飞猛进。而且，这项技术也绝不会被少数人所掌控，因为这个行业根本不是这样运作的。
我们做出最出色的工作，取得最大的影响力，往往是在我们能够各自独立思考、各自以自己的方式加以应用的时候。
所以我很喜欢 Anthropic 或其他机构提供的闭源 API。我认为它们非常出色，我也对这些实验室所做的工作深感钦佩。但它们并不是世界上仅有的实验室。世界各地还有许多实验室，也有很多人拥有出色的想法。并不是说只有少数几个实验室垄断了所有好的创意，事实并非如此。人类从来不是这样运作的。这个星球上有大量聪明的人。
而且，社区当然也深切关心这项技术，毕竟它显然具有如此深远的变革性、对方方面面都有如此深刻的影响，自然会有很多人希望参与其中。所以我认为，随着时间推移，我们会看到以社区为导向的人工智能开发和部署方式将持续壮大并被广泛采纳，因为这确实是人类作为一个物种一直以来构建事物的历史方式。
中国同行在开源合作上，一直走在前面
主持人：你觉得这个道理在全球范围内也同样成立吗？尤其是在中国这个问题上，很多人有这样一种看法：没错，全球各地都有很多人拥有出色的想法，但中国模型的很多进步是直接受到闭源模型启发，甚至是通过对其进行蒸馏而获得的。这究竟只是媒体为了博眼球而制造的话题，还是说，作为一位顶尖的人工智能研究者，你对来自中国的原创想法也同样印象深刻？
Brian Catanzaro：也许有点不同寻常的是，我确实曾在一家中国公司工作过大约两年半的时间。我在百度工作过，当时在硅谷人工智能实验室，和吴恩达（Andrew Ng）以及 Dario Amodei 一起共事。我们都曾为一家中国公司效力，也亲眼见证了百度其他团队的同事有多聪明、多勤奋、多有创造力、多善于创新，这段经历一直留在我心里。
我认为，说其他国家取得的成就都只是“照搬抄袭”，这种说法完全是错误的。
那我们大家是否会相互学习？当然，我们当然会互相学习。但我想说的是，中国人工智能社区一直以来对自己所构建的成果保持开放态度，这对全世界来说其实是一件非常好的事情。我认为，这让大量公司得以打造出一些若没有这个社区就根本无法完成的东西，我也认为这在整个人工智能生态系统中推动了技术进步。
所以我非常感激这些年来我们中国同行所做出的贡献。我也想借此机会，鼓励中国以外的其他人工智能实验室也发扬这种开放精神。
我当初对 OpenAI发布 GPT-OSS 模型感到非常兴奋，然后当然还有谷歌在 Gemma 上做的出色工作，看到这些真的令人振奋。而我们在 NVIDIA 这边也在推进 Nemotron。
所以我认为，世界其他地方是有机会追上中国的，前提是我们能理解携手作为一个社区共同构建人工智能技术所带来的好处——坦白说，在这方面中国一直走在前面。
主持人：好的。那么如今，客户使用开源模型的理由是什么？你们的根本优势又体现在哪里？
Brian Catanzaro：每家公司都建立在某种“秘密”之上。这个秘密不仅涉及知识产权，也涉及公司的整个平台——也就是它如何与问题和客户打交道，如何思考客户所需要的解决方案。
人工智能极度依赖数据。输入的数据越有价值，最终的解决方案也就越有价值。
如今每家公司在思考如何部署人工智能时，都必须思考这对公司核心机密意味着什么。在很多情况下，出于商业机密、商业模式，甚至是法律法规的要求，有些数据必须依法极其谨慎地处理。这种情况下，能够自己想清楚并亲自实现，会比交给别人处理要好得多。
在思考人工智能如何整合、如何与客户互动、需要设置怎样的护栏时——每家公司对自己的客户、以及客户真正需要什么，都有一套具体的理解。而开放人工智能技术真正了不起的地方，就在于它允许这种定制化。
各家公司可以自己想清楚，可以打造真正对自己有意义的东西。我在这次对话一开始就提到了互联网，提到互联网在不同行业中的部署方式有多么不同。如今，随着人工智能改变整个经济体系中人们工作和生活的方式，这种定制化的需求同样十分强烈。这正在极大地刺激对开放人工智能技术的需求。
主持人：好的。在深入探讨 Nemotron 之前，我想先聊几分钟你的经历、你的背景。你是如何走到今天这一步的，包括在百度的这段经历？
Brian Catanzaro：我是 2008 年加入 NVIDIA 的。当时我还是个研究生，正尝试为人工智能设计并行计算方案。我当时就认为，NVIDIA 有可能改变计算机的运作方式。
主持人：人工智能——想必在 2008 年，这是一条相当孤独的探索之路吧？
Brian Catanzaro：哦，那时候真的相当混乱。大家都觉得我疯了。
我记得 2008 年去参加 ICML，我发表了自己的第一篇论文，讲的是在 GPU 上训练模型。当时有人问我为什么会出现在那里。他们说：“这可不是一篇适合 ICML 的论文，我们这里只做高深的数学。”
我当时心想：“可是我认为计算能力对人工智能真的很重要。如果我们能训练出容量更大的模型，或许就能解决更多问题。”他们听完点了点头，那种感觉就像在说：“呃，我不太确定你为什么会在这儿。”
主持人：GPU 不是本来就是给游戏用的东西吗？
Brian Catanzaro：是的，确实也有这个用途，这种看法我们至今仍会遇到。
其实，GPU 就是 NVIDIA 说它是什么，它就是什么。因为是我们把它造出来的。所以 GPU 是我们制造出来的，用来加速这个世界最重要的计算任务的东西——1995 年的时候，这个最重要的计算任务是图形渲染，而很长一段时间以来，一直是人工智能。
总之，我就这样加入了 NVIDIA。我当时在研究部门，做一些相当“另类”的事情——试图为 GPU 上的人工智能打造编译器和函数库。这后来促成了 Copperhead 的诞生，一种嵌入 Python 语言、可编译到 GPU 上执行的语言，我认为它在很多方面预示了后来 TensorFlow 和 PyTorch 的方向。
再后来，这促成了 cuDNN 的诞生，这是 NVIDIA 第一款面向 GPU 深度学习的产品。我非常喜欢这项工作。但我一直渴望能更直接地接触人工智能的实际应用，而在 NVIDIA，我主要是在做人工智能的函数库和编译器方面的工作。
所以，当吴恩达邀请我去百度和他一起打造硅谷人工智能实验室时，我心想，这是个很棒的机会，因为即便是在那时，百度在把人工智能应用于核心业务方面已经相当领先。所以对我来说，那是一个绝佳的机会。百度硅谷人工智能实验室是一个了不起的地方，聚集着一群才华横溢、工作极其努力的人。
主持人：和年轻时的 Dario 共事是什么感觉？当时有没有什么迹象表明，他会成长为今天这样的人物？
Brian Catanzaro：Dario 从一开始就非常出色。我记得当时我是面试他的评委之一。那时他一直在做生物信息学方面的工作，还没有涉足深度学习或我们如今所说的人工智能领域。但很明显，他学习速度极快，思考也极为深入。
我最欣赏 Dario 的一点，是他信念的坚定程度。我在这个领域工作了很长时间，我也一直相信人工智能将会改变世界，但我认为自己从未像 Dario 那样，全然彻底地相信这一点。
也许这是因为我在博士期间受到的学术训练充满了谨慎。不知道你还记不记得，2005 年的时候，人工智能被认为又老又“过时”。大家都说这东西永远行不通，人们从 1945 年就开始尝试了。所以此前有太多宏大的承诺最终未能兑现。
因此，我一开始进入人工智能领域时，带着很多这种学术上的谨慎——总想着“我们应该留点余地，我不确定现在是不是时候”。而 Dario——他的坚定信念，他对当下这个时刻的理解，理解这项技术这次真的会成功，以及这对技术应该如何发展、应该建立什么样的机构所带来的启示——我认为他把这一切都做得非常出色。
所以，没错，和他共事总是一段很愉快的经历。
主持人：后来你又回到了 NVIDIA。带我们走一遍这段历程吧。
Brian Catanzaro：十年前，也就是 2016 年，Jensen 给我打电话说：“嘿，愿不愿意回来组建一个应用研究实验室？”我觉得这是个绝佳的机会。
我一直很喜欢 NVIDIA，喜欢这家公司的做事方式，喜欢这家公司所坚持的信念。NVIDIA 是一家非常独特的公司，它会在很长的时间跨度里坚持到底。我们在 CUDA 上坚持了十多年，我们在 Nemotron 上也在这样做。
NVIDIA 一次又一次地表明，它不怕投入五年、十年的研究，只为改变这个世界。在这样一家有着这种坚定信念、又能坚持到底的公司工作，对我来说几乎是理想的选择。我真的很喜欢这家公司为研究人员创造未来所提供的这种支持。
所以我决定回去。我参与的第一个项目，后来成为了 DLSS，可能你的一些听众也听说过。DLSS 是我们面向图形的实时人工智能技术，它能让一块小 GPU 发挥出大 GPU 的效果。它的效率大约提升了十倍，因为它不再需要为每一帧的每一个像素都计算颜色，而是用人工智能来推断颜色。
如今，当你使用 DLSS 玩游戏时，每 24 个像素中就有 23 个是由我们的人工智能模型生成的。玩家们非常喜欢它，它已经成为玩游戏的标准方式，因为它的响应速度快得多，画面也更精美。
我们的人工智能会在海量数据集上进行离线训练。它能够以比传统方法更精美的方式实时渲染图形。我们最近刚发布了 DLSS 5，这是一个完全生成式的 DLSS 版本，我对此非常兴奋。它凝聚了我们十年来在如何让实时图形更加精美这个问题上的研究成果。
所以，对我来说，这是这段旅程的一部分——面向图形的实时人工智能。但与此同时，我们也启动了一个语言建模项目。那是在 2017 年，早在 Transformer 大热之前，也早在语言建模开始席卷全世界之前。
我当时只是有一种直觉，可能是基于在百度工作时看到的一些东西建立起来的。我就是有一种直觉，认为处理文本、理解文本，将会带来更好的推理能力，进而带来人工智能在各个领域中更好的应用。所以我们启动了一个叫 Megatron 的项目。
Megatron 的意思是“最大、最厉害的 Transformer”，这就是我们这样命名的原因。这其实是一个系统性项目，旨在向全世界展示如何在 NVIDIA 的硬件上训练出规模最大的 Transformer 模型。
当时——你的一些听众可能还记得，或者可能不记得——业界有一种说法，说训练大型 Transformer模型的唯一途径是使用 TPU，毕竟 Transformer 是谷歌发明的。
于是我们研究了那篇 Transformer 论文，非常喜欢，觉得这蕴含着巨大的潜力。我们在自己的语言建模任务上试用了一下，发现效果比之前用的 RNN 要好得多。同时我们也立刻意识到，这里存在一个巨大的系统层面的机会，可以协同优化 GPU、网络，以及所有能让人们大幅扩展基于 Transformer 的语言模型的编译器和软件。
我们当时想，这件事真的可能带来重大影响。所以我们启动了 Megatron 项目，后来这个项目基本上帮助整个行业弄清楚了如何训练超大规模的大语言模型，同时也奠定了今天 Nemotron 项目的基础——NVIDIA 如今正是通过这个项目，为自身用途训练大语言模型。
大致就是这样一段历史。
主持人：精彩的历程。好，那我们来聊聊 Nemotron 的方方面面。在深入细节之前，先问一个我相信你已经被问过很多遍的显而易见的问题：为什么 NVIDIA 一开始就要涉足模型开发，并在打造自己的前沿模型家族上投入如此巨大的力量？
Brian Catanzaro：Nemotron 承担着两项使命。
第一项使命，是帮助我们理解如何构建未来的系统。NVIDIA 是一家加速计算公司，这意味着我们要从第一性原理出发，思考这个世界上最重要的计算难题，并设计出相应的系统——其中包含大量软件——让人们能够发明并部署出那些用标准计算方式根本无法实现的东西。
但要做到这一点，NVIDIA 必须深刻理解人工智能运作的方方面面。这正是我们为主要产品线协同设计所有系统 and 软件的方式。所以 Nemotron 的第一项使命，就是确保 NVIDIA 能够持续存在下去，让我们能在摩尔定律已经终结的时代，继续提供实实在在的加速能力。
如今我们所获得的加速，很大程度上来自于专业化。但专业化又来自于理解。所以 Nemotron 的第一项使命，就是帮助 NVIDIA 理解如何构建自身的核心产品。
Nemotron 的第二项使命，是支持整个生态系统。多年来，NVIDIA 打造出的最有价值的东西之一，就是全世界那些利用 NVIDIA 技术构建和部署出色人工智能应用的人。我们认为，NVIDIA 有必要继续提供这种开放的人工智能技术，以帮助支持这个生态系统。
Nemotron 并不打算成为唯一的开放人工智能技术。我们喜爱所有的人工智能技术，理由很简单：无论人工智能在哪个方向得到进一步发展和部署，对我们的业务来说都是一次机会。
所以，我们非常明确地在努力发展自己的生态系统，因为这对我们来说就是好生意。但我们并不打算成为这个生态系统唯一的提供者。我们也乐见其他公司做出贡献。对 Nemotron 的第二项使命来说，最重要的事情，就是确保各种规模、各种类型的公司都能够持续构建并部署属于自己的人工智能。
摩尔定律早死透了，
现在要比拼谁能榨干系统的每一颗晶体管
主持人：顺便问一句，摩尔定律已经死了？这是官方定论吗？
Brian Catanzaro：它已经死了好多年了，好多年了。
主持人：为什么这么说？
Brian Catanzaro：你只需看看半导体制造的发展就知道了。摩尔定律最初的表述其实是一个经济学命题：我们每隔大约 24 个月（具体周期视表述而定），就能以相同成本在同一块芯片上塞下两倍数量的晶体管。
如今，这一点已经完全不成立了，而且大概已经有五到十年不成立了。我们依然在通过若干方式扩展我们的系统。其一，就是投入大量更多的硅片资源。晶体管仍在持续变得更小、更高效，只是速度放缓了，但与此同时，它们的成本也变得相当昂贵。
在摩尔定律还生效的时代，打造未来系统的最佳方式，就是拿现在的系统，然后把它缩小，或许再把规模翻一番。但在我们已经经历了相当长时间的这个新时代——你无法再通过缩小现有设计来获得经济上的收益——你就真的必须更聪明地利用系统的每一个部分。
在这样一个时代，加速计算比以往任何时候都更有价值，因为从第一性原理出发思考问题、协同设计从晶体管到算法再到应用的方方面面、减少浪费并交付实实在在的加速效果——这项工作，比以往任何时候都更有价值。
主持人：太棒了。回顾一下你刚才说的话——NVIDIA 之所以做模型业务是有充分商业逻辑的，一是它能帮助设计出更好的芯片，二是只要对人工智能有利的事，最终都对 NVIDIA 有利，这个逻辑非常说得通。
Nemotron 这个项目相对来说是比较新的，对吧？我记得是从 2023 年开始的。能不能简要带我们走一遍几个关键的发布节点？我记得 2023 年有一个关键发布，是 Nemotron 3 8B，还是我漏掉了什么环节？
Brian Catanzaro：对，对，对。具体的编号在历史长河中已经有点混乱了。我感觉我们就像身处《魔戒》的故事里，仿佛在挖掘某个古老矿井中的远古遗物。这真的是很久以前的事了。
我们最初所称的 Nemotron 1，其实是我们和微软合作的一个项目。我们联合训练了一个 5300 亿参数的模型，我记得是 2021 年发布的。所以这大概是 GPT-3 那个时代。当时我们把它称作 Megatron-Turing NLG。Turing 是微软当时对自家语言模型项目的称呼。不过回过头来看，我们把它称为 Nemotron 1。
沿着这条路，我们又打造了几个模型，一路做到了 Nemotron 3。然后 Llama 出现了，我们对此非常兴奋。我们很高兴看到 Meta 也在支持开放的人工智能技术空间。所以我们开始把自己的语言模型技术叠加到 Llama 模型上，这后来促成了 Llama Nemotron 1。
那是第一个基于 Llama 构建的推理模型，我们对此感到非常自豪，那是在 2025 年——可能是 24 年，我记不太清了，反正大概是那个时候。
然后我们持续推进这项工作。编号又开始从头计起。我记得我们去年发布了 Nemotron 2，然后很快又推出了 Nemotron 3，因为我们需要加入对……的支持。Nemotron 2 当时没有这个支持，这让它相对于 GPT-OSS 20B 这类模型缺乏竞争力，速度上的差距实在太明显了。所以我们当时就说，好吧，我们必须把这个补上，于是就有了 Nemotron 3。
现在我们的处境有点尴尬，因为我们正在开发 Nemotron 4，但我们其实已经发布过一个 Nemotron 4 了——2024 年我们发布过一个叫 Nemotron 4 的 3400 亿参数模型。所以我也不太确定我们该怎么解决这个营销上的难题。这个难题不是我造成的，反正我会尽力说清楚，将来无论我们什么时候发布 Nemotron 4，它都跟 2024 年那个 Nemotron 4 是不同的东西。
但不管怎么说，我们在这方面已经投入了很长时间。我认为，比起任何一个具体的世代版本，更重要的是 NVIDIA 对开发这些模型的持续投入。我们已经坚持做这件事很久了。
我认为，过去一年里我们的模型变得实用了非常多，这主要反映了两件事。第一，整个公司都行动起来了。NVIDIA 内部有许多不同的团队，如今都理解这件事对 NVIDIA 未来有多重要，所以有更多的人、更好的想法涌入了 Nemotron。
第二，与此同时，我们也已经能够扩展投入其中的计算资源。显然，拥有良好的计算基础设施对构建人工智能非常重要。我们最近大幅增加了这方面的投入，因为我们相信这对我们公司的未来至关重要。
我认为让所有人都明白这一点非常重要：我们已经做这件事很久了，我们正在大幅增加投入，而 NVIDIA 是一家坚持到底的公司。我们在 CUDA 上坚持了十多年，我们在 Nemotron 上也在这样做。
主持人：这个信息很有帮助，因为我觉得，外界才刚刚开始意识到，这里有一个非常庞大的开源前沿人工智能研究项目一直在进行中。所以听到这个演进过程非常有意思，如今有了我们即将谈到的这一整个模型家族。
另一个重要的时刻，似乎是三个月前，也就是三月份成立的 Nemotron 联盟（Nemotron Coalition）。能不能简单解释一下这是什么？
Brian Catanzaro：Nemotron 的存在意义就是支持整个生态系统，我们当时在想，嗯，这其实是一种与业界其他项目不同类型的人工智能项目，对吧？因为我们并不是真的想在任何方面取得主导地位。我们只是想提供支持。我们并不想控制人工智能被整合进这些公司的方式，我们只是想确保有好的人工智能可用。
但我们想，或许如果我们在开发过程中就和大家合作，那么最终成果对他们来说会更有用。这样也会更容易整合，因为我们从一开始就会考虑到他们的需求。
而 Nemotron 一直都是协作性的。我之前跟你说过，很久很久以前，我们训练的第一个大模型，就是和微软一起做的，对吧？那是一次联合努力，NVIDIA 和微软的研究人员并肩工作打造出那个模型，最终这对 NVIDIA 和微软都有帮助。我认为我们双方都从那次经历中学到了很多。
所以，既然 Nemotron 的目标不是与其他公司竞争，而是提供支持，既然我们反正打算把它公开放出去，那为什么不在开发之前就先展开合作呢？
与其让 Nemotron 成为一个由 NVIDIA 独自完成、然后发布到网上说“嘿，你们要不要试试这个，我们觉得可能不错”的项目，不如让它对那些感兴趣的合作伙伴真正有用——通过在 Nemotron 尚未被创建之前，就与他们合作，并纳入他们希望带来的任何反馈、评估、环境、基准测试，或任何其他类型的技术，这样岂不是更好？
事实证明，整个生态系统中——有大量公司真心希望开放模型能够取得成功，所以他们自身就有这种利益诉求。他们有自己的既得利益，去确保开放技术足够出色。那为什么不与他们合作，让他们以自己想要的方式为 Nemotron 做出贡献呢？
这就是 Nemotron 联盟的理念。它并不是一个排他性的联盟。我们并不想成为唯一的模型。所有和我们合作的公司，依然可以按照自己认为合适的方式继续做自己的工作。然而，这些公司之所以愿意与我们合作，是因为他们希望确保开放人工智能技术能够持续快速发展，也希望有机会影响这个过程的走向。
把 4 比特精度的数塞进预训练，是一场极易跑飞的冒险
主持人：好的。那 Nemotron 家族目前的现状是怎样的？你们有 Nano，有 Super，有 Ultra。这些模型分别是做什么的，各自的应用场景是什么？
Brian Catanzaro：Nano 是一个总参数量 300 亿、激活参数量 30 亿的模型。Super 是 1200 亿和 120 亿，Ultra 是 5500 亿和 550 亿。它们的设计初衷，正是为了适配小型、中型和大型这三种部署场景。
对于那些不需要太多知识储备或推理能力的任务，Nano 就能表现得很出色，但如果要追求最强能力的模型，那当然要选 Ultra。而 Super 在很多方面是我们最受欢迎的模型，因为它在成本和智能水平之间实现了很好的平衡。
所以我们比较喜欢这种“小、中、大”三档搭配的模型家族策略，因为我们的客户对这种方式反响相当不错。但从 NVIDIA 的角度来看，人们用大语言模型做得最多的事情，其实是构建 agent，也就是打造 agentic 工作流，让一个 agent 代表你昼夜不停地工作、为你解决问题。这是一种解决我们所面临问题的极其令人兴奋的方式。
让 Nemotron 在这方面表现出色，是我们的梦想，也是我们的目标。
主持人：从更高层面把这一点点明一下：Nemotron 家族聚焦于 agentic 推理，尤其注重效率。这样概括对吗？
Brian Catanzaro：没错。是的。Nemotron 一直以来都是一种“速度优先”的建模思路，因为 NVIDIA 本身就是一家加速计算公司。
正如我前面说的，我们一直在尝试从第一性原理出发，思考这个问题在计算层面究竟意味着什么。Nemotron 3 家族里有很多东西是我们非常自豪的。比如说，Nemotron Ultra 和 Super 都是使用 4 比特运算进行预训练的。我们用 NVFP4 对它们进行了预训练，这可不是一件轻而易举的事。要发明出能让模型在如此粗糙的数值精度下依然收敛出优秀结果的算法，需要大量的创新。我们对此非常自豪。
主持人：能不能给大家解释一下，4 比特和比如说 16 比特之间的区别？
Brian Catanzaro：其实我昨天在 Hacker News 上看到一篇很棒的帖子，你可以上传一张图片，然后它会对图片做类似“色调分离”的处理——把颜色数量减少到不同数值格式所对应的水平，包括 NVFP4、MXFP8 以及市面上的其他一些格式。你可以来回滑动，看看它对图片颜色造成的变化，效果相当惊人。
4 比特其实没有多少位可用，对吧？那只有 16 个可能的取值。当然了，这些都是所谓的“分块缩放”（block-scaled）格式。也就是说，一组组数字还会配有一个 8 比特的缩放因子。这里的具体细节可能会相当复杂，所以或许不是那么重要。
但我们之所以想这么做，首先是因为在我们的 GPU 上——尤其是在 Blackwell Ultra 上——这些格式能带来大幅提升的吞吐量。其次，我们知道这将节省大量能源。
如果你接受这样一个事实——我们终将在极限状态下运行，那么这就意味着，获得更多智能的方式是提升效率。当我们已经处于极限时，无法再靠堆砌更多算力来获得更多智能。我们必须更审慎地思考如何利用手头已有的资源。
而 4 比特数值格式在数据搬运上要便宜得多。它们在内存中占用的空间更小。无论是从内存中读取，还是在芯片内部搬运，所消耗的皮焦耳（picojoule）都更少；在其上进行计算所消耗的能量也大大减少。
这正是推动我们投入 4 比特格式研究的动力。我认为如今，用于部署的 4 比特格式已经相当成熟了。如今要做出一个不错的、量化后的 4 比特检查点（checkpoint）供部署使用，其实已经相当直接，而这能带来相当可观的推理成本和速度优势。
但把 4 比特格式用于预训练，那就要棘手得多，因为你有一个数值求解器在优化权重，而它可能相当敏感。如果你处理数值的方式不当，你的模型可能会发散——本来应该通过预训练得到一个模型，结果得到的只是“这次训练发散了”，这种情况总是很吓人的。
所以，我们要能用 4 比特格式对 Nemotron 进行预训练，这背后需要大量的创新。我们对此非常自豪。
主持人：好的，太好了。那接下来我们聊一些稍微更技术性的东西——Nemotron 的架构是混合式的，对吧？也就是 Transformer 和 Mamba 状态空间模型的结合，这是一种相对更“另类”的架构形式。带我们了解一下。
Brian Catanzaro：我们在 2024 年发表过一篇论文，证明将状态空间模型与 Transformer 结合起来，实际上能得到一个更聪明的模型。我们确实做了一次扫描实验，测试模型中应该有多大比例是全注意力（full attention），多大比例是状态空间模型，才能获得最低的困惑度（perplexity），也就是最好的语言模型效果。我们发现，实际上你希望模型大部分是基于状态的模型，只搭配少量的注意力机制。
背后的直觉是，状态空间模型似乎更擅长这种对序列的直觉式、整体印象式的理解，因为它们会把整个序列压缩总结进一个恒定大小的空间里。这就是它们的工作方式，对吧？所以它们不是能够随意查看整个序列的任意位置，而是在每一步都把此前的一切总结进一个恒定大小的缓存里，也就是它们正在使用的一个小“草稿本”。
这种约束似乎反而让它们在一些涉及全局理解的任务上变得更聪明。而另一方面，全注意力的优势在于，它能够精确地挑出非常具体的信息片段，一字不落地查看。这中间不存在有损压缩，你可以真正看到全部内容。
所以我们发现，把两者结合起来使用，实际上比单独使用其中任何一个都更好。而这一点其实和速度上的优势是相互独立的——也就是说，模型确实变得更聪明了。自从我们发表这项研究以来，我认为业界很多其他实验室也发现了这一点。如今许多模型都在使用混合 SSM 的方式来构建。比如说，Qwen 就是这样做的，Kimi 也在使用他们所称的 Kimi 线性注意力（Kimi linear attention）。所以我认为，如今在基础架构中结合某种状态基础模型与全注意力机制，已经变得相当普遍。
而且，这种做法还带来了一些速度上的好处，因为保存那个状态空间缓存所需的内存量，相对于序列长度而言，实际上是恒定的——这也就意味着，通常情况下，你在训练和推理时能在 GPU 上容纳更大的批次（batch），因为内存需求更低了。这能让 GPU 保持更满、更忙碌的运行状态，从而带来相当重要的效率提升。
主持人：这些模型同时也基于混合专家（mixture of experts）架构。带我们了解一下，也许先给大家提个醒，这到底是什么？
Brian Catanzaro：混合专家是一种稀疏性的实现形式。它的想法是：好，你想在整个互联网上训练一个模型，你希望它能记住关于历史上一切事物的全部知识。但当它在回答某个具体问题时，真的有必要让它去思考整个宇宙才能回答这个问题吗？其实不需要，对吧？
似乎我们在用语言模型去探索一个非常微小的想法空间，来回答一个问题或解决一个问题。我们希望模型能够从整个知识宇宙中汲取养分。我们希望训练它，让它尽可能理解一切它能理解的东西。但在它真正运行的时候，它其实并不需要看到全部这些信息。
针对这种特性，此前出现过多种试图加以利用的稀疏化方法，但混合专家一直是其中最成功的一种。它的工作方式是，神经网络里有一个所谓的“路由器”（router），这个路由器是通过学习得到的，它会为流经模型每一层的每一个 token，决定把激活值发送给哪一部分专家子集。
它会做出选择，决定模型的哪一部分实际参与与这个 token 的交互，参与构建我们对问题的理解、构建对问题的表征，然后生成我们接下来要输出的下一个 token。
主持人：这有点像，假如我的公司有 550 名员工，但只有 55 名是工程部门的，那我希望这 55 名专业人员来参加我关于工程的会议，而不是让整个公司的人都来。
Brian Catanzaro：没错。是的。或者你也可以把它想象成一座图书馆。如果你去图书馆做研究，你不会把图书馆里所有的书都读一遍。你首先要做的，是弄清楚为了找到问题的答案，你需要查阅哪些书。这大概就是这个想法背后的道理。
现在，这对我们构建的系统有着有趣的影响。以 Blackwell 为例，NVIDIA 在这方面全力投入。这就是我们打造 NVL72 的原因——它能让多达 72 块 NVIDIA GPU 以极高的速度、极低的延迟读写彼此的内存。
为什么这很重要？因为当一个 token 逐层流经这一整叠层结构时，每一层都有一个路由器，把这个 token 路由到别处。为什么不干脆把专家分区，让你知道专家并不是每个专家都摆在每一块 GPU 上，而是每块 GPU 分配到一部分专家子集，然后你在把 token 推送穿过网络的过程中，非常动态地在各块 GPU 之间路由这些 token？
这是不可能提前预测的，因为它对那个特定的 token、那个特定的模型都极为特殊，你没法提前知道 token 需要去往何处。这正是我们打造 NVL72 的原因，也是为什么 Blackwell 在如今人工智能模型的推理上表现如此出色——因为我们在打造它的时候，就深入思考了混合专家的问题。
这正对应了 Nemotron 的第一项使命。如果我们此前没有致力于理解人工智能，我们就不可能把 Blackwell 打造得如此到位。而这也直接转化为了 Blackwell 部署量的增长，我们对此感到非常振奋。
主持人：你刚才描述的这个东西，叫做 latent MOE（隐式混合专家），还是说这是另一个不同的概念？
Brian Catanzaro：latent MOE 是我们 Nemotron 3 家族中一项具体的创新。它的作用，实际上是通过降维投影，减少计算过程中需要通过 NVLink 传输的通信量。
每一个 token 都会产生一个向量，我们的思路是，我们要用一种学习到的方式把这个向量压缩，然后把这个压缩后的东西通过网络发送出去，再在接收端把它解压出来。这样一来，我们既节省了网络带宽，也在相同的推理成本下获得了四倍数量的专家。
所以你可以把它想象成，我们的图书馆藏书量变成了原来的四倍，而由于这项特定的创新，我们能以相同的推理成本读到四倍数量的书。
主持人：混合专家总体上正在成为前沿人工智能的默认架构吗？
Brian Catanzaro：是切切实实的，我认为混合专家已经作为前沿人工智能的默认架构存在很长时间了。它们在推理成本 and 智能水平之间的结合确实非常出色。
不过它们也有一些缺点。它们需要更多的内存。如果你的内存非常有限，稠密模型（dense model）反而会更聪明。而且，它们的表现往往在两种极端情况下最好：要么你以批次大小为 1 运行，也就是运行一个单独的任务；要么你运行的是一个拥有海量并发请求的大型数据中心。处于中间状态时，情况可能会有点棘手。
主持人：Nemotron 3 Ultra 的另一个重要特性，是 100 万 token 的超长上下文窗口。这在整体组合中有多重要？它能让模型做到什么？
Brian Catanzaro：上下文长度越长，我们能用语言模型解决的问题就越具挑战性。这让我们能够做一些事情，比如把各种信息附加到一次查询里，可以是一个代码库，也可以是一系列指令。
从长远来看，我希望自己能拥有一个专属的个人大语言模型，能够读完我所有的邮件，帮我回答关于这些邮件的问题。我们能附加到某次查询里的信息越多，模型就能变得越有用。
不过，对海量输入数据进行推理，代价可能会越来越高昂。这也是为什么通常上下文长度会有上限的原因之一。但在 Nemotron 3 上，我们尽可能把这个极限往前推。我们认为一百万个 token 已经相当可观了，你能用它做很多事情。
主持人：这对多步骤的 agentic 工作流特别有帮助，而围绕这个话题，还有一个完全独立的讨论，就是关于上下文压缩（context compaction），确保模型不会在海量 token 中迷失方向。你们是怎么看待这个问题的？
Brian Catanzaro：完全同意。如果你在使用 agentic 工作流，压缩（compaction）是你时时刻刻都要面对的一件事。而压缩通常效果相当不错，因为语言模型其实很擅长识别最相关的内容并加以总结，而你在做压缩时，本质上就是在对自己的上下文做总结。
所以压缩本身并不是一种糟糕的方法。我认为，让模型能够天然地对更大量的数据进行推理，本身就更有用。所以我们当然也想在这方面持续拓展边界。
主持人：好的。能不能聊聊多词元预测（multi-token prediction）？如果你是以较低的批次大小运行——也就是你在数据中心里希望获得最大交互性的时候——这个特性也非常有意思。你希望模型尽快做出响应，哪怕代价更高一些也没关系。你的单 token 成本可能会更高，但你希望尽快拿到结果。或者，如果你是在本地运行，你可能是以批次大小为 1 在运行，因为只有你一个人在使用它。
Brian Catanzaro：事实证明，GPU 上有一些额外的执行能力其实处于闲置状态，一直没被用到。在这些场景下运行时，大部分的工作实际上是从内存中读取权重。然后你把 token 推送穿过这些权重，接着再从内存中读取更多权重。
但事实证明，如果你把两个 token，甚至五个 token 一起推送穿过同样这些权重，所花的时间基本上是一样的，因为真正昂贵的部分不是把 token 推送穿过权重所需的数学运算，真正昂贵的部分，是把所有这些权重从内存中读取出来。所有这些参数，都必须先被读进来。
所以多词元预测的思路，就是利用这一点：让模型一次预测多个 token。假设模型预测了五个 token，我们知道第一个 token 是正确的，接下来的四个 token 可能对，也可能不对。
接下来我们要做的是，在下一次推理时，把这四个 token 输入模型，再跑一遍。跑完之后，我们会检查——模型这一次又会预测出一组新的 token——然后我们检查：上一次我们预测出的那几个额外 token 是否正确？如果正确，我们就直接接受它们，相当于获得了 4 倍的加速。如果不正确，我们只接受其中正确的那部分，然后从那里继续往下推进。
所以这样做的好处是，它完全不会降低准确率，因为你是在用模型自己来做二次核验。所有这些“投机”式的猜测，都会在你下一次把 token 推送穿过模型时被核验。
所以，开启多词元预测完全不会降低你的准确率，但它能带来速度上的提升，而且这种提升是概率性的，取决于你的预测器的接受率。如果你的预测器更准确，接受率就会更高，你获得的加速也就更大。
在我们最近的 Nemotron 模型上，我们对自己的接受率相当自豪，但我们一直在努力让它变得更好，一直在设法提升这个接受率。
这是“加速计算”理念的一个很好的例证。有了多词元预测，你所获得的速度，是模型准确率的一个函数。你的模型越准确，推理速度就越快，推理成本也就越低。通常情况下事情不是这样运作的，但在这个案例里，事情确实就是这样运作的。
而这也意味着，如果我们作为 NVIDIA 这家公司，要为这个世界最重要的计算任务提供实实在在的加速，那么这一点就必须成为我们思考问题方式中的重要组成部分。如果说存在一个 3 倍的推理成本削减或速度提升的机会，而 2026 年最重要的计算任务正是推理，如果这个机会摆在桌面上，并且它取决于多词元预测网络的准确性，那么这就是 NVIDIA 必须深入理解的东西，因为它会直接影响我们的业务。
主持人：太有意思了。继续这场“参观之旅”——多教师蒸馏（multi-teacher distillation），我们前面稍微聊过一点蒸馏这个话题——在 Nemotron 3 的语境下，这意味着什么？
Brian Catanzaro：在 Nemotron 3 Ultra 上，我们使用了一种叫做多领域同策略蒸馏（multi-domain on-policy distillation）的方法进行后训练。它的具体做法是：我们有很多想要提升模型的不同方面。比如说，科学理解能力就不同于数学定理证明能力，这又不同于编程能力，编程能力又不同于 agent 工具集成互动能力，对吧？
在 Nemotron 3 上，我记得我们大概用了 10 到 15 个这样的“教师模型”。思路是，你拿这些教师模型，在某个特定领域上尽可能把它们推到极限。也就是说，你不用担心让它在所有方面都表现出色，只需要让它在这一个领域上变得极其聪明。
然后你会有一整批这样的模型，你希望创造出一个能够学会在所有方面都表现出色的模型。我们使用一种特定的强化学习技术来实现这一点，如今业界很多实验室都在使用这种技术，叫做 MOPD。
这种方法的一个好处是，因为教师模型在做监督，它们能够为学生模型提供非常密集的奖励信号。基本上每一个 token 都会得到监督，因此学生模型能够学得非常快，最终在所有方面都几乎能达到所有教师模型的水平。
这样做的一个好处是，它真的有助于团队更好地协作。如果没有这样一种技术，假设你有 500 个人在努力让模型变得更好，一个团队说，我要让它在这方面变得更好，另一个团队说，我要让它在那方面变得更好，那就可能出现拉锯战，比如：“那到底谁说了算？”
如果你不得不做出这样的选择——比如说，“我要优先选择这个而不是那个”——那你就会让另一个团队觉得他们的工作不被重视。这真的会很难办。
2026 年打造人工智能的一大挑战，就是要弄清楚如何让人们协同合作，即便你归根结底只是在打造“一个”东西。所以这项特定的技术，对帮助更多人协同合作、让 Nemotron 变得更强，起到了非常关键的作用。
主持人：太有意思了。所以这既是一个技术问题，同样也是一个人类组织的问题。
Brian Catanzaro：完全正确。
主持人：好，太棒了。我们先把这个话题放一放，稍后再回来聊，因为这确实是个引人入胜的话题——关于你刚才提到的后训练。
你们做的一件很了不起的事情，是在 Nemotron 的语境下也公开了数据，也就是训练数据。这是否也包括各行业专用的强化学习任务数据？没错，这就是像今天这样一场对话的美妙之处——你们真的可以聊聊这些事情。
那么，用于后训练、以强化学习为核心的工作，这些数据究竟是从哪里来的？显然，如今这个世界的一个关键问题是，大语言模型或人工智能系统已经在编程和数学方面表现出色。下一个大问题是：它们能不能在法律、咨询等各种不同领域也同样出色？而闭源模型“黑箱”的一部分，就在于人们究竟是怎么做这一切的。他们的数据从哪里来？在你能透露的范围内，我很想了解你们是怎么做的。
Brian Catanzaro：这不是一个容易回答的问题，因为情况相当复杂。但我想说，我们依靠一系列不同的途径。
其一，我们确实会从一些专门构建数据集、可供购买的公司那里购买数据。只要我们拥有再分发或公开这些数据的权利，我们就会把它作为 Nemotron 数据工作的一部分开放出去。
对于 Nemotron，我们尽可能地在数据发布上保持最大程度的开放，因为我们的目标是支持整个生态系统，对吧？我们的目标不是成为唯一的模型。我们很乐于听到业界其他模型也在使用我们的数据集来增强它们的人工智能，因为这意味着我们成功完成了自己的使命——让整个生态系统持续繁荣、持续壮大。
同时，我们也非常相信合成数据生成这条路。我们会投入大量算力，在自己的系统上运行语言模型来生成合成数据，这些数据随后能帮助我们的模型在特定领域更好地解决问题，我们也会公开很多这类数据。
当然，做这件事并不简单。人工智能永远遵循“垃圾进、垃圾出”的规律，所以你必须非常努力，确保你创建的任何合成数据都真正能带来价值，真正能帮助模型更聪明地泛化、更聪明地解决问题。但这些，就是我们构建数据集的主要方式。
主持人：既然我们在聊后训练和强化学习在不同领域的应用，我很想听听你对泛化问题未来走向的看法。
延续我刚才的话题，整个行业似乎正在从编程和数学——这两个拥有可验证奖励的领域——走向不同的行业。你觉得这就是未来的方向吗？整个行业是否有能力像攻克编程或数学一样，高效地攻克接下来这些领域？
Brian Catanzaro：编程之所以特别，是因为它是一项极具智力挑战性、又创造了大量 economic 价值的活动，这就意味着我们拥有海量可供学习的 token，同时也拥有能让我们验证模型是否真正解决了问题的工具。
所以编程在我们心中永远占据着特殊的位置，我也认为人工智能会在这方面持续进步，因为我们与编程之间存在着这样一种特殊的关系。
至于其他领域，我觉得让我兴奋的地方，在于让人工智能在强化学习过程中学习的环境会变得显著更加多样化、更加复杂。我相信强化学习是一种极为通用的教导人工智能解决问题的方式。我们才刚刚开始摸索如何将其应用开来。
我认为，随着我们的环境变得更加精细复杂，人工智能就会对它试图解决的问题、以及它能采取的行动所带来的后果，产生更深入的理解，从而变得更擅长真正解决那些问题。
回顾我们如今使用的这些环境，说实话，它们依然相当简单。我认为在接下来几年里，这方面会变得显著更加复杂、更加多样化。
“使命是老大，组织架构不是”
主持人：好的。你之前提到过要让 500 个人协同工作，我也说过我们稍后会回到这个话题，因为这实在太有意思了。那么，退一步来看，讲讲 NVIDIA 的研究机构吧。它是怎么组织的？整体是如何运作的？
Brian Catanzaro：NVIDIA 并不是按照组织架构图来运作的。我们确实有一张组织架构图，但它其实并不是理解我们工作方式的最佳途径。
比如说，我的团队并不隶属于官方意义上的 NVIDIA 研究团队。我的团队实际上隶属于负责打造 GPU 的那个组织。而我的团队也并不是唯一在打造 Nemotron 的团队。公司里大概有十个团队都对打造 Nemotron 有着重大参与，分布在公司的不同部门：企业软件部门、我们的人工智能软件部门，甚至 NVIDIA 内部实际负责设计 GPU 的部门，也在很大程度上参与了 Nemotron 的构建。
所以有非常多不同的团队必须协同合作。我们常说，是“使命”在做老大，而不是“组织架构”在做老大。
但这也意味着，人们必须弄清楚如何协同合作，这在某种意义上颇具挑战性，因为人类天生是部落性的生物，对我们那些不太熟悉、或者不太信任的同事表现友好，或者与那些此前合作经历不太成功的同事继续合作，这都不是我们的天性。
其实，Nemotron 这个名字本身就体现了这一点。我们原本有一个 NeMo 团队，专门打造人工智能软件；还有一个 Megatron 团队，主要专注于构建大语言模型的系统研究。我们决定携手合作，然后开始把我们的项目统称为 Nemotron，以此体现这两个团队之间的协作关系。
从那以后，Nemotron 已经大幅扩展。有非常多其他团队如今也成为了这项工作的一部分。我们以这种开放的方式在 NVIDIA 内部组织这项工作，这一点非常重要。
我们邀请公司内部各处的志愿者来参与打造 NVIDIA 的人工智能。我们认为这对公司的未来至关重要，随着这个愿景不断成熟，越来越多的人希望加入进来，这真的太棒了，我们对此感到非常兴奋。
而这也意味着，我们必须想办法组织这项工作，让每个人都有机会做出贡献，感受到自己被倾听，感受到自己的想法在通往实际影响力的道路上得到了公平的评估。
我们有一套正式的流程来实现这一点。我们有一个内部网站，人们可以在上面分享想法，然后这些想法会被分配给 25 位分别负责 Nemotron 各个部分的负责人之一。他们会与这些想法互动，其中一些想法会得到进一步发展，另一些想法则会被推迟到下一轮打造新模型的时候再考虑。
但我们一直在尝试以一种开放、包容的方式来打造 Nemotron，这样我们才能真正作为一家公司团结起来共同打造它。
我认为，能够弄清楚如何协作打造人工智能的机构会取得成功。而那些在“这个人工智能归谁所有”这个控制权问题上纠结不休的机构，往往会浪费大量精力。我认为 NVIDIA 的成功、Nemotron 的成功，都直接取决于我们的协作能力——这也是我深切关心的一件事。
主持人：太棒了。但你之前提到，尽管你们是在 GPU 领域无可争议的头号领导者旗下工作，但你们作为一个研究机构，其实并没有拿到你们想要的全部 GPU。那么，GPU 和算力的分配是如何进行的？这是基于某个想法有多大前景、还是早期取得的成功来决定的吗？会不会因为某个项目成功而增加 GPU 配额，或因为不成功而收回配额？
Brian Catanzaro：这是个非常复杂的问题，而且显然，如何分配算力，对整个行业里的每个人来说都是一个不小的难题。
在 Nemotron 内部，我们有一份专属于 Nemotron 的预算。在 Nemotron 内部，我们会根据我们认为项目所需的东西来分配算力。我们有一套层级结构：我们设有一系列大的项目群（program），每个项目群下面又设有一系列具体项目（project），每个项目都会提出自己的需求申请。然后我们有一个为期两周的周期，专门用来审核这些申请和预算，接着我们会以一种层级化的方式做出决策。算力就是这样被分配下去的。
话虽如此，我认为我们在这方面依然可以做得更好。做算力分配的决策很难，因为每一位研究人员都坚信，如果自己的想法能多拿到一千倍的 GPU 资源，就能改变世界，对吧？而他们说不定是对的，这有可能真的是真的。
然而，我们正处于极限状态下运行。我们没有一千倍的 GPU 可以分配给我们的每一个想法。我们必须在现有的极限之内运作。所以这确实是一个充满挑战的过程。
我们尽量把尽可能多人的观点纳入这个过程，让大家至少能形成一种共识——也许算不上“认同”，但至少是共识。所以有时候，某个项目可能会觉得自己理应获得更多 GPU，因为如果它成功了，影响力会非常大，但它却没有拿到。我们希望在这种情况下，他们至少能理解，为什么在这一轮分配中，另一个项目被认为是更优先的事项，从而至少明白，公司做出这样的分配是有原因的。
话虽如此，这个流程一直在持续改进中，我们还有很多工作要做，让它变得更透明、更公平。当然了，我个人的头号目标，就是争取拿到更多的 GPU，这样我们就能资助更多的项目，因为我也很想做到这一点。
主持人：你们是如何在“有用的研究”和“伟大的探索性研究”之间取得平衡的？
Brian Catanzaro：我的信念是，研究需要经过一个“自我引导”（bootstrap）的过程。研究本质上是一个“鸡生蛋、蛋生鸡”的难题。几乎每一位研究人员都相信：如果我拥有更多资源，我的想法就能改变世界。事实上，研究人员抱有这种信念是很重要的，因为如果你没有这种信念，你就不会拥有去做一件疯狂而全新事情所需的那份坚定信心，对吧？所以你必须先相信。
那么，你要怎么把这份信念转化为其他人能够理解、愿意去投入的东西呢？这就是我所说的“鸡生蛋、蛋生鸡”难题，对吧？因为一旦你的研究想法明显有价值、有影响力，要获得资源就会变得很容易。但在没有这些资源的情况下，你要怎么让它变得“明显有价值、有影响力”呢？
解决这种“鸡生蛋、蛋生鸡”难题的方法，就是自我引导（bootstrapping）。这是一种迭代式的问题求解方法：你先做一件小事，得到某种信号，证明这是个不错的想法，然后你把这个信号告诉大家，接着再申请多一点点资源。
如果人们看到，比如说，“哦，那个实验结果还不错，挺有意思的，我们应该在这方面再多投入一点”，那你就走上正轨了。随着时间推移，反复迭代、快速迭代、多次迭代，你就能逐步为自己的想法争取到可观的资源，而且这个过程通常也会吸引更多人加入进来，因为他们有机会亲眼看到，这个想法真的有可能改变世界，于是他们也想成为其中一员。
主持人：NVIDIA 这些年来的那些“登月计划”，也是这样起步的吗？无论是在人工智能领域还是其他领域？也就是说，是自下而上，由某个人想出一个好点子开始，还是黄仁勋（Jensen）说“我们就该做这个”？
Brian Catanzaro：Jensen 自己也有很多好点子。所以公司会对他的想法非常积极响应，这一点也很重要。但 Jensen 一直反复强调，这是一家由志愿者组成的公司。
我们每一个人来到这里，都是因为我们选择了这样做。我们本可以选择用自己的人生做别的事情，但我们选择了留在这里。所以，尤其是在早期研究阶段，我们往往会采取非常自下而上的决策方式，因为这本质上是一种邀请：把你最好的想法带来。让我们一起弄清楚，我们所有人当中最好的想法都是什么，然后我们再从那里出发。
那我们是不是有时候也会有自上而下、对公司战略至关重要的想法？当然有，当然有。NVFP4 预训练就是其中之一。作为公司领导层，我们决定，我们要在 FP4 硬件上大举投入。现在，是时候去发明一些能成功利用它的优化算法了。
我们没有对团队说，你们必须做 NVFP4 预训练这个项目。我们说的是，这里有一个机会，我们正在做一笔重大投资，如果我们能把这个问题攻克下来，对我们公司会意义重大。然后，我们让那些对此感兴趣的人去研究，最终我们成功了。
所以，这是自下而上和自上而下的一种平衡。但即便像 NVFP4 这样有着显著自上而下战略成分的项目，整个过程依然带有那种“自我引导”式的感觉。那个非常精细、复杂、涉及很多环节的实际技术方案，恰恰来自研究人员自己。
这就是我的信念：研究永远来自研究人员本身。你没法告诉研究人员该如何具体解决某个问题，因为那样它就不再是研究，而变成了工程。
但在这样一个人工智能的世界里，我们必须解决的最重要的问题，都带有这种“研究成分”，所以，如果我们要取得进展，就必须给予研究人员创新的自由。
主持人：听你讲的这一切，我很感慨 NVIDIA 的企业文化依然如此充满创业精神。这是一家非常大的公司了，所以我相信内部也一定有政治博弈——你也提到了那种“部落本能”，所以我相信这些都在发生。但尤其考虑到这家公司存在这么久、取得了如此巨大的成功，人们内部也一直赚到了很多钱，公司整体感觉依然非常有创业精神、依然是自下而上驱动的，或许还带有很强的绩优导向。这样理解对吗？
Brian Catanzaro：是的。NVIDIA 有一点非常不寻常，那就是其领导层任职时间之长。黄仁勋执掌这家公司已经 33 年了，但他并不是孤身一人。公司里还有很多其他非常资深的领导者，任职时间也长达三十年甚至更久，包括我的老板。
这些人都还记得，在一个非常小的 NVIDIA 工作是什么感觉，他们也知道在一个非常庞大的 NVIDIA 工作是什么感觉。他们对这家公司有着共同的“主人翁”意识。
在 NVIDIA，我们常说，没有人是“独自失败”的。这句话的意思是，这只是在陈述一个事实，对吧？你在一家公司工作，这只是一家公司。你们要么共同成功，要么共同失败。
你从事的是加速计算，而加速计算是由成千上万种技术组合而成的。只要其中任何一环未能实现加速，价值就会被摧毁。芯片再厉害，如果编译器很糟糕，那也无济于事。归根结底，你所出售的东西，是研究人员在试图打造人工智能未来时所需要的时间与能力。
如果他们没有得到这些，那不管到底是晶体管、数学运算单元、编译器、函数库、网络，还是其他任何环节没能达到预期，都无所谓了——只要其中一环出问题，整个组合系统就会失败，整个价值就会被摧毁。
我们在 NVIDIA 内部对此有着深刻的文化认同，而这正是我们协作方式背后的驱动力之一。
大模型是一台马力强劲的发动机，
但没有轮子，哪儿也去不了
主持人：也许作为收尾，我想请你从一位身处这一切最前沿、了解最深入的人的角度，谈谈未来可能的走向。谁知道几年之后会怎样，但在接下来的一两年里，或许还是能看到一些端倪的。
我在某个地方读到，你不算是一个“奇点论”的信徒，是这样吗？
Brian Catanzaro：没错。
主持人：为什么这么说？
Brian Catanzaro：我认为智能是一件极其多面向的事情。我总是会想到这样一个问题：如果一家公司要寻找自己的下一任 CEO，它会通过寻找一个曾经赢得国际数学奥林匹克竞赛的人来找到这位 CEO 吗？大概不会吧，对吧？
尽管那真的很了不起——像我这样的人，永远不可能在国际数学奥林匹克竞赛中与那些人竞争——那些人真的很出色，对吧？他们拥有令人惊叹的才智。但那并不是经营一家公司所需要的那种才智。
如果我们看看我们文化中其他一些非常重要的方面——比如说音乐人，成为一位大红大紫的音乐人，需要哪种智能？别以为那全靠运气，其实不是的。这些人非常努力，而且他们非常聪明，只是聪明的方式可能是我并不理解的——凭我的博士学位，我未必拥有那种智能。
所以，当我思考“智能”这个概念时，我认为它是极其多面向、极其依赖情境的。这真的取决于具体情境。这不仅仅是关于原始智力水平。原始智力有点像发动机的马力，但一台没有轮子的发动机，哪儿也去不了，对吧？
所以智能——智能所产生的影响，很大程度上取决于这份智能所处的情境——它所处的“驾具”（harness）、它所依附的平台。当我这样思考时，我认为“奇点”虽然是一个很有吸引力的想法，但却是一个想错了方向的想法，因为它没有把这些其他因素纳入考虑。
所以我相信，人工智能会持续快速发展，它将在整个世界经济的方方面面、为从事各行各业工作的人们，释放出重要的能力。我对它将带来的机遇感到非常兴奋。
同时，我也有点担心，我们要如何管理好这个转型过程。我确实认为，转型对人类来说通常是困难的。我们整体上是比较保守的。接下来会有大量的变化。这是我们思考方式、工作方式、学习方式的一场深刻变革。
归根结底，我对人类解决问题的能力抱有信心。我们过去也做到过，这就是我们的本性。我们一直在打造工具，打造帮助我们解决问题的“外部器官”。我们有一个外部的胃，我们称之为厨房，它为我们创造了巨大的价值。有了厨房，我们才能吃到原本没法吃的东西。
而现在，我们正在打造一个外部大脑。外部胃对我们这个物种带来的影响是极其深远的——它带来了农业，进而带来了有组织的社会，也就是我们如今城市建造的方式。那么，如果我们思考一下，一个外部大脑会带来什么影响——这非常深远，其实没有人真正知道答案。
但我确实相信人类解决问题、不断学习、并以对我们有益的方式吸纳新技术的这种能力。我也相信，我们这个星球所面临的问题，全都需要更多的智能才能解决。每一个问题都是如此。无论是不平等，还是气候变化，还是我认为其他任何令人担忧的结构性问题，这些问题的解决方案，都需要发明创造和智能。
这对我来说意味着，未来我们真正能够创造出来的工具，只可能是人工智能，因为我们所面临的问题，本质上都是关于智能的问题。而且，不管技术路径是什么，解决这些问题的方案，最终都会被称为人工智能。
所以这让我对未来抱有希望，但同时也让我对即将到来的挑战保持敬畏——我们要如何弄清楚，怎样与这个全新的“外部大脑”以一种全新的方式共存。但我相信我们学习和改变的能力，我认为最终这会让我们的生活变得更美好。
主持人：你们内部有没有感受到那种似乎正在形成的“人工智能反弹”情绪？这是你们察觉到、思考过的东西吗？如果是的话，你觉得这是不是我们这个行业在沟通上存在的问题？尤其是考虑到你刚才所说的人工智能所蕴含的所有明显的潜力。
Brian Catanzaro：我一直很担心公众如何看待和使用技术。这一点影响很大，事实也确实如此：那些愿意接受技术进步的社会，其技术进步程度，要高于那些抗拒变化的社会。所以我确实认为，认真思考这个问题很重要。
关于人工智能，有意思的一点是，我相信当它真正融入日常生活的时候，往往更容易被人们接受，而到了那个时候，人们就不再把它当作“人工智能”来看待了。它就只是——哦，这是我用的一个工具而已。
当你让地图应用帮你规划开车路线时，你会在意这背后是不是人工智能吗？其实这背后是相当复杂的人工智能技术在起作用，但你并不会真的去想这个问题，对吧？你只是在用一个工具而已。
所以我觉得，人们对人工智能的接受程度，是随着经验的积累而增长的。我们与它打交道的经验越多，越懂得如何富有成效地与它协作，我认为我们就会对它感到越自在。
阳光是最好的安全网：
自上而下的围墙花园，反而更不安全
主持人：好的，Brian，这真是一场精彩的对话。也许最后一个问题，为了确保我们把这个话题也覆盖到——我想确认一下我们也聊到了安全问题。目前安全方面的现状是怎样的？开源和闭源在当下的安全讨论中，各自扮演着什么样的角色？
Brian Catanzaro：安全如今是每个人都在思考的问题。看看 Fable 的发布，以及政府对此的应对方式，我认为这正是人们对这些模型安全性感到担忧的一种体现。这些模型变得越来越强大，随之而来的，是它们可能被滥用的风险。
关于如何思考安全、如何定义安全，有许多不同的思路。我可能有一个略显非主流的看法，那就是：我认为开放技术总体上更安全，因为它有更多的“阳光”照进来。
当有更多人在思考一项技术的安全性、在评估它、并努力让它变得更安全时，我认为这本质上比让一小撮人替所有其他人负责安全，要安全得多。
我也认为，就人工智能而言，因为它本质上关乎的是想法，关乎以不同方式探索各种想法，所以多样性其实比单一文化更安全。这意味着，会存在不同的信念。多样性不仅仅体现在容易达成共识的地方，多样性真正的意义在于那些困难的地方。当人们存在深切的分歧时，他们真的会彻底地互相不认同。
我认为，让人们能够以多样化的方式去探索自己的想法，比试图打造一个“围墙花园”——在这个花园里，某些想法被认定为安全，某些想法被认定为不安全——要更加安全。这在今天的人工智能环境中是有争议的，我觉得这很有意思，因为在人类数百年的传统里，恰恰有直接针对这个问题的历史经验。
比如在美国，我们有关于良心自由和言论自由的法律。这并不是因为我们没有花上几千年去考虑过，如果没有这些自由是不是会更安全，恰恰相反，我们确实尝试过。我们确实尝试过一种“单一文化”式的做法——这些想法可以谈论、是安全的，那些想法则不可以谈论、不安全。而我们发现，这种做法远远不如一种“多元主义”来得安全——在这种多元主义下，我们官方上不去评判哪些想法是安全的。
我们其实发现，作为一个社会，支持多样性远比试图自上而下地让所有人都“安全”要更安全。所以我相信，开放的人工智能技术，本质上就是构建人工智能最安全的方式。
主持人：好的，我很喜欢这个说法。用一个颇具争议的观点来结束这场对话。Brian，这真是太棒了。非常感谢你，真的很感激你今天抽出时间和我们聊这些。
本文来自微信公众号“AI科技大本营”，编译：王启隆，36氪经授权发布。
