30亿月活也焦虑，AI落后CEO震怒，大模型刷分造假，副总裁愤而离职

1000万上下文？2万亿参数？MoE混合架构，原生多模态。清明假期，你是否也被Meta这波Llama 4系列模型发布后，各种酷炫数据和名词炸醒？ 

曾经的开源领袖，实际已经被DeepSeek抢了各种风头。在扎克伯格下死命令，4月初必须发布新版本大模型的强大压力下，原本使命是超越GPT和Claude等闭源模型，吊打一切的存在，然后呢？实现了吗？ 

Llama 4系列模型发布：

• Llama 4 Scout（小）

单张H100 GPU可运行，适合本地部署，支持 1000万token上下文，这是行业最牛成绩。

• Llama 4 Maverick（中）

总参数高达4000亿，但推理时仅激活部分专家，效率更高。

多模态性能超越GPT-4o，在ChartQA、DocVQA等基准测试中领先，编程能力媲美DeepSeek v3，但参数仅一半。

• Llama 4 Behemoth（大，预览版）

Meta 2万亿参数巨兽，仍在训练中。

超大参数，据说STEM任务超越GPT-4.5、Claude3.7等。

将作为“教师模型”，用于蒸馏优化更小的Llama 4模型。

测评分数高居全球第二

Llama 4 Maverick 目前在 LM Arena 排行榜 上排名第二，仅次于 Gemini 2.5 Pro。 

而且具备原生多模态能力：Llama 4采用了早期融合（Early Fusion）技术，可以用海量的无标签文本、图片和视频数据一起来预训练模型。

超长上下文：

Scout 版本支持 1000万 tokens（约15000页文本！），医学、科研、代码分析等超长文档处理能力直接拉满。

在其他大模型仅有200万 tokens上下长度时，小扎掏出了大炸雷，不想和大家闲聊。

几个核心技术

MoE架构效率炸裂：

Llama 4开始转向采用混合专家模型（MoE），推理时仅激活部分参数，成本更低——Maverick 推理成本仅 $0.19/百万token，比GPT-4o便宜90%。

iRoPE实现超长上下文:

iRoPE（交错旋转位置编码）是Meta为Llama 4设计的升级版位置编码技术。

• 局部注意力层：用旋转位置编码（RoPE）处理短上下文（如8K token），保留位置关系。
• 全局注意力层：直接去掉位置编码（NoPE），通过动态调整注意力权重处理超长内容，类似“模糊匹配”长距离关联。
• 就像读书时用书签（RoPE）标记重点段落，同时靠记忆（NoPE）串联全书脉络。

埋葬RAG技术？

相比RAG技术，iRoPE无需依赖外部知识库检索，直接通过模型内部自身处理完整信息，减少信息丢失风险，预计未来会成为大模型技术标配，以后大模型容易忘记前文的事情，基本就不会出现了。

开源但有限制 ：商用需遵守 Meta 政策，月活超7亿的公司需额外授权，且产品名必须带“Llama”。 

鲸哥在Together AI上体验 了 Llama 4 Scout，并没有什么特别的强悍之处，DeepSeek对比之下体感还是强很多。Llama 4有点像Google，“参数没输过，实战没赢过”。

🚀 一句话总结 ：Meta 这次把开源AI卷到新高度，多模态+长上下文+超低成本，Llama 4 可能是目前最香的开源大模型之一。 

但下周OpenAI o3和Claude等新模型发布， Llama 4估计又会被夺走注意力。而且最新消息，Meta高层在后训练阶段中，将多个benchmark测试集混入训练数据。有副总裁因为Llama刷分问题愤而辞职，也就说目前官宣的成绩有很大的水分。

Meta旗下拥有Facebook、Whatsapp等知名社交APP，全球还有超30亿月活用户，这波Meta在AI领域为了掩饰落后却公然造假，留给市场一句叹息。

本文来自微信公众号“鲸选AI”，作者：点赞关注，36氪经授权发布。