MiniMax发布万亿MoE模型abab 6.5

36氪获悉，MiniMax正式发布万亿MoE模型abab 6.5模型。据了解，abab 6.5 系列包含两个模型：abab 6.5和abab 6.5s。abab 6.5包含万亿参数，支持200k tokens的上下文长度；abab 6.5s跟abab 6.5使用了同样的训练技术和数据，但是更高效，支持200k tokens的上下文长度，可以1秒内处理近3万字的文本。