大模型首次直接理解代码图：不用Agent自动修bug，登顶SWE-Bench开源模型榜单

量子位·2025年06月27日 16:32

完全基于开源模型

AI自动修bug，解决率达44%！这是全球开源模型的最新最强水平。

来自蚂蚁的开源新模型，在SWE-bench Lite上超越所有开源方案，性能媲美闭源模型。

具体表现如下，在SWE-bench Lite上：

所有开源模型方法（Open Weight Model）中排名第一；
所有开源系统方法（Open Source Syestem）中排名第六；
总体排名第14；
优于目前榜单最好开源模型“KGCompass”7.33%。

他们首创将仓库代码图模态融入大模型（Code Graph Model, CGM），让大语言模型能直接理解代码图，更高效修复bug、补全代码。

这彻底摆脱对黑盒模型（如GPT-4或Claude 3.7等）和复杂Agent工作流程的依赖，实现更加可控、透明、安全的SE自动化。

而且，CGM完全基于开源模型。要知道，开源模型在SWE-bench上的表现通常不够好，此前几乎所有SOTA级方案都是基于闭源模型实现。而CGM基于Qwen模型，做到了比肩闭源模型的水平。

CGM仅需4步就能快速定位、生成补丁，省去了Agent方案中复杂的编排过程，效率直线up。

让AI真正理解大模型代码库

大模型趋势以来，AI编程迅速崛起，尤其是在写函数这类小任务上的表现出色，比如在HumanEval等基准测试上，许多模型的准确率已经超过90%。

然而真实的软件工程远比”写一个函数“复杂得多。像Bug修复、功能增强这样的任务，通常需要跨文件、跨模块操作，并要求模型理解项目中复杂的结构、依赖关系和类的继承体系。

现在的主流方法通常是使用基于闭源模型的Agent。它们可以模拟人类程序员行为，如观察代码、调用工具、多轮交互等完成任务。

但这类方法也存在几个问题：

行为路径不可控，容易积累推理误差；
依赖GPT-4、Claude等闭源模型，难以私有部署或定制；
工程成本高，效率不高。

与此同时，当前使用开源模型的方案，很难实现SOTA级效果。

为此研究团队提出：能否只用开源模型、不依赖Agent，解决仓库级任务？CGM由此而来。

图结构与大模型深度融合

CGM采用类似Vision-Language Model（VLM）的跨模态建模方式。它将传统LLM的文本理解能力与代码仓库的结构图（Graph）结合，形成一种图-语言多模态模型。模型核心融合了两个模态：

图模态：将仓库构建为结构化图 ，节点包括函数、类、文件、包等7种类型，边表示调用、包含、继承等依赖；
语言模态 ：用户输入的自然语言描述和代码提示，驱动模型生成patch或回答。

模型输入为代码图和文本形式的prompt，将在LLM中对结构-语义进行双模态对齐。

具体结构融合方法如下：

使用小型编码器（CodeT5+）对每个节点进行编码，压缩为单个“节点token”，每个节点内按照至多512个token的文本块切分。

通过一个适配器（一个两层MLP）将编码后的节点表征映射到LLM输入嵌入空间中。相当于将LLM上下文扩展512倍，能更好处理海量的代码仓库上下文。

使用图感知注意力掩码（Graph-aware Attention Mask）。替代LLM中原有的因果注意力，使注意力机制只作用于相邻节点间。类似于GNN的消息传递机制，能够让LLM直接感知和利用代码的结构依赖关系。

两阶段训练：结构理解+问题泛化

基于此模型架构，团队通过两阶段训练让LLM能够理解代码图的拓扑结构。

阶段一：子图重构预训练

为了训练CGM有效捕捉代码图的语义和结构信息，团队设计了一个“图生代码 (Graph-to-Code)”任务。从大型代码图中随机采样出子图（限制节点数量以控制输出代码长度），模型需要根据这些输入的子图（仅包含节点类型和连接关系，不含完整的代码内容）来重建出原始的代码片段。

然后采用层级化方法，保持重建代码的结构一致性和可读性。按照拓扑排序与行号顺序拼接仓库上下文：高级别节点（如REPO、PACKAGE）置于输出序列或文件的起始；文件节点通过拓扑排序确定顺序；文件内节点（如CLASS、FUNCTION）则按行号顺序拼接。

阶段二：噪声增强微调

此阶段使用真实的GitHub问题-修复补丁数据对CGM进行微调。

模型学习基于两项输入生成代码补丁：(i) 一个相关的代码子图；(ii) 一段文本提示，指明根据补丁可能需要修改的实际文件。为了提升模型的鲁棒性，特意在提示中引入了10%的噪声输入：例如，提示中可能包含一个实际上无需修改的不相关文件，或者遗漏至少一个本应被修改的关键文件。在训练中引入这种受控的噪声有助于模型更好地泛化到实际输入信息不完整或包含干扰的场景。