谁在打造欧洲最大的基础大语言模型
潮汛网讯：俄罗斯联邦储蓄银行（Sber）是俄罗斯最大的银行之一，但远不止是一家金融机构。近年来，该公司持续发展生成式人工智能，如今已是俄罗斯该领域的领先开发者之一，也是欧洲最大基础语言模型的缔造者。费奥多尔·明金（Fyodor Minkin）作为GigaChat基础模型的技术总监，负责GigaChat产品线。团队近期发布了全新旗舰模型——GigaChat 3.5 Ultra：该模型体积比上一版本缩小近一半，生成长文本的速度最高提升四倍，在处理代码、数学和智能体场景方面更加稳健。其核心是基于线性注意力的自有架构，储蓄银行已将其开源。我们就储蓄银行在AI研发上的战略重点与费奥多尔进行了对话。
费奥多尔·明金，GigaChat基础模型首席技术官
选择线性注意力作为旗舰模型架构的基础。为什么做出这个决定？押注这一技术时，预见到了哪些风险？
当模型处理长文本时——比如一份100页的合同——整个文本会在整个对话过程中保留在模型记忆中。文本越长，用户与模型的交互越多，记忆填充得越快。每次新请求，模型都必须从头重新处理整个上下文——这使得长文档的处理变得越来越慢、越来越昂贵。
我们押注线性注意力——这项技术让模型能够一次性记住所读内容的要点，并在工作过程中不断补充记忆。这使模型在处理长文本时速度最高提升四倍。此外，我们将模型体积缩小了近一半——这意味着部署更便宜、更容易。当时尚不确定我们能否在提升速度、缩小体积的同时保持模型的智能和质量。我们进行了超过1500次实验，以找到正确的平衡——最终推出了目前开源领域中规模最大的线性注意力模型之一。
AI开发者通常押注更多数据、更多参数、更多算力。而您却将模型缩小了一半。在您看来，当前合理扩展的边界在哪里？
模型规模每向上提升一步，其成本都不成比例地高于前一步，到了某个节点，公司为换取微小的质量提升而耗费巨额资源。我们通过效率来界定这个边界——即模型在单位算力下能带来多少实际价值。GigaChat 3.5 Ultra的体积比上一版本缩小近一半，但在多项指标上已接近远为庞大的开源模型（如DeepSeek 3.2）的结果。这意味着，只要架构和数据选择得当，较小的体型完全能与较大的模型竞争。行业目前正经历一个重要转折：今天，更关键的是谁能通过精妙的工程从现有资源中榨取最大价值。对我而言，合理扩展首先是一个如何审慎支配每一次计算的问题。
当前大语言模型架构的哪些根本性限制，阻碍了模型成为真正可靠的自主智能体？
市场目前正经历向自主智能体的重要转变。自主智能体从定义上讲必须独立行动：执行需要长步骤链的任务，并在每一步做出决策、重新审视此前行动、读取外部信号并进一步规划。技术上，这要求模型同时具备多项能力：良好的规划能力、为特定任务选择合适的工具、在极长上下文中保持注意力，以及——尤为重要的是——自行评估结果的可靠性。后者我们还有待加强。我认为，当今的主要限制甚至不是架构上的，而是组织层面的：企业内部真实的业务流程数十年未变，真正的规模化智能体应用不会始于模型再聪明一点，而是始于企业开始重新审视工作模式本身。技术需要新的角色与责任分配：什么可以完全交给机器，什么必须有人类确认。
人工生成的数据在多大程度上仍是模型质量的主要资源？如何看待合成数据——超过哪条界线后，它们会开始损害而非提升模型？
人工生成的数据仍是模型质量的主要资源——只有它们才承载真正的专业经验和人类思维与发现意外方案的鲜活多样性。合成数据在需要精度和规模而非多样性的场景中表现良好，例如训练数学或代码的逻辑推理。但如果合成数据成为世界知识的主要来源，而非精准工具，模型就会开始从自身的反射中学习：一个模型的错误和模式会固化到另一个模型中，文本变得缺乏生气。因此，在新模型的训练数据集中，我们侧重了经过精心筛选的人工撰写文本。
将旗舰模型开源，是竞争优势，还是围绕该架构构建开发者社区的必要条件？
全球的独立开发者社区能够比单一内部团队更快地分析我们的代码、发现其弱点并提出优化方案。这样一来，围绕模型就能更快地形成工具和集成的生态系统，而我们也能获得这些改进。开源模型是证明其实力的诚实方式：任何人都可以对其进行测试、复现结果，并验证各项基准测试的正确性。伴随GigaChat 3.5，我们还发布了若干训练检查点——本质上是在不同阶段的模型中间版本，可以追溯模型从训练开始到最终状态的演化过程。世界上开源模型越多，整个市场就越强大，我们努力朝这个方向前进，即使部分行业正朝相反方向移动。
展望2-3年，哪条架构分岔路最有意思：是出现某种彻底替代变换器架构的新东西，还是将现有方法推向极限？
变换器架构在未来两三年内不会消失——业界对它投入太多，也研究得太透彻。但过去一年，变换器架构内部发生的变化相当大：线性注意力、稀疏注意力变体、混合专家（MoE）架构纷纷涌现。这实际上是在旧地基上生长出的新一代架构，我认为行业大部分将朝这个方向前进。同时，更具风险的方向也很有意思——扩散语言模型，它们不是逐词生成文本，而是先一次性勾勒出整个片段，再精化细节。目前这类模型在质量上尚有差距，但它们有潜力将长回答生成速度提升数倍，我们内部已经在进行这方面的实验。不久前，我们发布了一款实验性模型GFusion，正是探索语言模型的扩散方法。有意思的是，这个模型最初是我们团队一名实习生的项目，他成功将其推进到发布，现已转正为正式员工。
本文来自“潮汛网”，作者：Felix，36氪经授权发布。
