蚂蚁把560B大模型开源了:MXFP4一刀切掉一半显存、4卡就能跑,但"百万上下文"先打个问号?

AI唱反调·2026年10月16日 17:53
权重大砍45%,百万上下文存疑

9 月 30 日发布时,社区的质疑声很直接:免费体验只给 25.6 万上下文,百万窗口要等付费后,开源更是"计划"——先圈用户、再放权重,这顺序把不少人惹毛了。 

10 月 15 日,蚂蚁把承诺兑现了:Ling-3.1-flash 权重正式开源,FP8 checkpoint 以 MIT 许可上架 Hugging Face 和 ModelScope,SGLang、vLLM 部署路径随仓库一起给出。

先看规格:560B 的身体,25B 的账单 

Ling-3.1-flash 是典型的"大总参、小激活"MoE:72 层、512 个路由专家、每 token 只激活 8 个,激活参数约 25B——总参数的二十二分之一。混合线性架构,最高标称 100 万 token 上下文。

这个比例的意图很直白:推理账单跟着激活参数走,能力上限跟着总参数走。拿 25B 的成本,借 560B 的脑子。上一代 Ling-3.0-flash 是 124B/5B,这一代两个数字都翻了四五倍,还加上了混合推理模式。 

部署刀法:为什么敢把专家压到 4-bit

这次开源最有技术含量的部分,是那套混合量化方案:  

刀法的逻辑清晰:512 个路由专家占了参数的绝对大头,而 MoE 专家本身稀疏激活、对量化的敏感度相对低,压到 MXFP4 损失可控;dense 层每个 token 都要过一遍,是全模型的"主干道",保守地留在 block-FP8。两者一混,权重占用砍掉 45%,服务部署在官方测试配置里从 8 卡降到 4 卡。

要泼的冷水官方自己也写了:实际卡数随上下文长度、并发量和服务配置变化,4 卡是特定测试条件下的数字,不能直接当采购清单。另一个社区已经发现的细节:仓库里发布的配置 `max_position_embeddings` 是 262,144,"百万上下文"目前写在模型卡的目标栏里——今天就能验证的是 256K 这一档。

跑分:官方榜单之外,听听上手的人怎么说

第三方口径里,Artificial Analysis 给出智能指数 41、输出速度约每秒 210 token,评价是"高频业务场景里智能与效率双在线"。Kilo Code 上架价输入 $0.30、输出 $0.90/百万 token,缓存读取 $0.06——典型的执行层定价。 

厂商自报分数需要挂一个醒目的注:Terminal-Bench 4、SWE-bench Pro 这些成绩都是在百灵自家的 **LingCode** 框架上跑出来的——它基于开源编码智能体 Pi 改造,而 LingCode 本身尚未开源。用没开源的考具考出来的分,别人暂时没法复现。

独立上手的反馈更立体。MindStudio 的实测里,它在 SQL 调优上单点命中最高影响的修复方案,单发 SVG 生成质量不错,模拟急救医疗问答结构完整;但到了需要长链条工具调用的复杂 Agent 任务——比如从 Blender 到 Godot 搭一个完整游戏管线——成品是"能跑完,但游戏是坏的"。低资源语言同样是短板。

信号:开源战场在同一天撞车

10 月 15 日这天格外拥挤:英伟达开源 Nemotron 3.5 Super VL 主打"始终在线"Agent,阶跃星辰把 600B 的 Step 5 Preview 权重放出,蚂蚁开源 Ling-3.1-flash。三家同一天出手,指向同一块阵地——能部署在自有基础设施里的 Agent 执行层。

合理推演是,竞争的计价单位正在从"跑分"换成"每卡每天能跑多少活"。蚂蚁这张牌的差异化很清楚:医疗沟通、办公、研发这些蚂蚁自家业务喂出来的场景能力,加上一套从量化到长上下文并行的完整部署方案。打不打得过,取决于 LingCode 什么时候开源,以及 4 卡配置在真实业务并发下能不能站住。

公开资料的边界交代一下:百万上下文是目标值而非当前配置,官方跑分无第三方复现,量化方案的精度损耗数据尚未随仓库公布。 

权重已经在那了。剩下的问题,开发者自己的任务会给出答案。

本文来自微信公众号“AI唱反调”,36氪经授权发布。

+1
1

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

36氪AI测评

选靠谱AI,看真实评测
查看
36氪AI测评官方交流社区
加入

36氪项目推荐

咨询项目审核和入驻
联系
36氪项目推荐订阅号
关注

下一篇

竞逐蛋白质高地的乳企们。

48分钟前

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业