Benchmark 介绍
DeepSWE v1.1 考查编码智能体在真实开源仓库中完成较长链条软件工程任务的能力。模型根据行为层面的简短需求定位代码、实现改动并提交补丁,再由独立容器运行原有测试和新增功能测试判定是否通过。
- 发布时间
- 发布方
- Datacurve
- 任务规模
- 113 道公开任务,覆盖 91 个仓库、5 种语言
主要能力代码库探索、跨文件修改、自测调试与回归保持
更多信息
领域与任务分布
官方统计包含 TypeScript 35 题、Go 34 题、Python 34 题、JavaScript 5 题和 Rust 5 题,多数仓库只出一题。参考解法平均新增 668 行代码、改动约 7 个文件,涉及编译器与解释器、命令行工具、数据处理、前端组件及网络服务。
题目来源与制作
仓库选自公开且持续维护、至少 500 星并采用宽松开源许可的项目,每题固定在特定历史提交。参考解法与验收测试均单独编写,不从上游已有 PR 改写,也不合入原仓库;参考补丁仅用于出题审校,不参与判分。
任务形式与交付物
模型拿到预构建的仓库环境与题面说明,环境固定在主分支起点并移除后续提交历史。完成后需在本地分支提交全部改动,收集钩子会提取相对于起始提交的补丁供评分使用。
代表性任务
Expr 错误恢复题(expr-try-catch-errors,审查结论为 Accepted)要求给原本遇到运行期错误即直接崩溃的 Go 表达式引擎补齐异常处理。模型需要支持函数式与代码块形式的捕获语法、按错误消息子串过滤、清理子句、主动抛出、最多三次重试,以及按越界、类型转换等七类规则归类错误。
测试条件
评测使用 Harbor 任务格式和 Pier 运行器。任务容器默认断网,仅由运行器按白名单放行模型接口调用;单题配置提供 2 核处理器、8 GB 内存、3 小时执行上限及 30 分钟验证上限。官方榜单默认以 mini-swe-agent 运行四轮。
评分方式
验证容器先按补丁涉及的文件逐个重置到起始提交、应用模型补丁,再重置并写入隐藏测试补丁。评分程序对照预存的必过原有测试和新增验收测试名单读取报告:全部名单通过记 1 分,任一测试失败、跳过或缺失均记 0 分。官方主指标 Pass@1 按有效尝试汇总通过比例。
摘要
我们审查了 DeepSWE v1.1 的全部 113 道题,其中 41 道 Accepted、15 道 Doubtful、57 道 Refused。确认的问题主要集中在关键错误漏判、题面未说明的评分要求,以及评分逻辑错误。
| 审查结论 | 题数 | 判断依据 |
|---|---|---|
| Accepted | 41 | 本轮未发现影响评测效力的实质缺陷或具体待核疑点。 |
| Doubtful | 15 | 发现了具体疑点,但触发条件、正确解释或评分影响尚未做实。 |
| Refused | 57 | 已确认至少一项影响评测效力的缺陷,实际影响取决于触发条件。 |
审查范围与版本
版本:DeepSWE v1.1, 0b9fabbb63b9。
材料包括题面、测试、评分代码,以及公开提交、解题轨迹和原始判分日志;覆盖全部113题。报告更新于2026年11月11日。
问题分布
每题按主要问题归入一类,避免重复计数。
| 问题类型 | Refused | Doubtful | 合计 |
|---|---|---|---|
| C1答案或评分逻辑错误 | 9 | 0 | 9 |
| C2存在题面未说明的评分要求 | 17 | 0 | 17 |
| C3关键错误漏判 | 22 | 1 | 23 |
| C4评分可绕过 / 答案泄露 | 3 | 14 | 17 |
| C5其他问题 | 6 | 0 | 6 |
| 合计 | 57 | 15 | 72 |
代表性案例
新数据只是用了旧地址,却被当成没有重建
C1答案或评分逻辑错误
题目:python-statemachine-state-data-scoping
题目要求:离开一个状态时删掉旧数据,再次进入时创建一份新数据。模型确实删掉了旧列表,也重新创建了列表。但Python可能把已经空出来的内存地址分配给新列表,地址相同不代表还是原来的对象。
测试却只比较两个列表的地址,一样就判错。这次公开运行的其余71项新增测试、1286项原有测试都通过了,最终却因为这一个误判得了0分。
题目没说要补空位,测试却把“不补”判错
C2存在题面未说明的评分要求
题目要求把元素排进网格。按CSS默认规则,元素会依次向后摆放,前面可能留下一些空位;这是正常的排版方式。隐藏测试却要求后来的元素回头填这些空位,题目没有提出这个要求。
对应公开运行中,49项原有测试全部通过,25项新增测试只在这里失败,整题却得了0分:实现满足常见排版规则,仍被题面没写的另一套规则拒绝。
查历史记录时读到现在的状态,仍拿到满分
C3关键错误漏判
题目:aiomonitor-task-snapshots-diff
题目要求保存任务当时的状态,方便以后回看。例如,保存时任务还在运行,即使后来结束了,这份历史记录也应该显示“当时仍在运行”。
两份公开满分提交却没有把当时的状态存下来,而是在查看历史记录时,再去读取任务现在的状态。名为“冻结状态”的测试只检查任务名称,没检查状态有没有跟着变化,所以53项新增测试和8项原有测试全部通过,两份提交都得了1分。
检查被换成空函数,功能没做也可能被记成通过(静态证据)
C4评分可绕过 / 答案泄露
题目:tengo-destructuring-bindings
题目要求给Tengo增加一次拆出多个变量的语法。比如[a, b] := [10, 20],应让a等于10、b等于20;还要支持嵌套、默认值等情况。评分为此设置了91项新测试,并要求132项原有测试继续通过。
已有代码审查发现,提交者可以添加一个在测试开始前执行的入口TestMain,让91项功能测试保留原来的名字,却把真正检查功能的代码换成空函数。这样测试照常显示“通过”,但根本没有检查新语法有没有实现。
独立复核发现,评分准备时不会删掉这个入口,评分器也不会因为它的存在而拒绝提交。29项原有测试也在它能控制的范围内,另外103项保持原状。按这条代码路径推导,提交者可以不做核心功能,让报告满足满分条件。
模型的自测和隐藏测试重名,合在一起就跑不起来
C5其他问题
题目:anko-typed-variable-bindings
模型为新功能写了一个自测,名字叫TestTypedBindingsDeclarations。评分时加入的隐藏测试恰好也叫这个名字,题目却没有说这个名称不能使用。
Go不允许同一个包里有两个同名函数。两份测试各自没有这个命名冲突,合在一起就无法编译。运行因此出现8项测试结果缺失,最终得0分。这里的问题是评分时加进来的代码阻止了测试运行;并不意味着解决重名后,提交的所有功能就一定正确。
逐题审查结果
Refused:57 道题
- abs-module-cache-flags
C2存在题面未说明的评分要求
调试日志意思正确也可能扣分:测试要求日志必须包含指定英文,题目没说。 - abs-stepped-slices
C1答案或评分逻辑错误
模型按常见命名方式写的自测,会和评分时加入的测试重名,导致程序无法编译。依据代码推导,未新增运行验证。 - actionlint-action-pinning-lint
C1答案或评分逻辑错误
评分时覆盖了模型的测试文件,却留下仍在调用它的其他测试;被删掉的辅助函数找不到,测试因此跑不起来。 - aiomonitor-task-snapshots-diff
C3关键错误漏判
本该保存“当时的状态”,却在查看时读取“现在的状态”。两份有这个问题的公开提交都拿到了满分。 - 模型把自测共用的代码放进一个文件,评分时却把该文件覆盖了;其他测试仍调用其中函数,导致编译失败。依据代码推导。
- 模型自己写的测试与评分时加进来的测试重名,放在一起无法编译,题目没有提前保留这个名字。
- arcane-drift-detection-baselines
C3关键错误漏判
功能应检查容器的真实状态有没有偏离配置;测试却只看传入的配置,漏掉读取真实状态这一步也查不出来。 - boa-hierarchical-evaluation-cancellation
C2存在题面未说明的评分要求
题目没规定创建取消句柄时如何使用Context,测试却只接受只读借用,排除了正常的可变借用写法。 - 子代理的回答如果分成几段,代码只保留最后一段、丢掉前文,现有测试也能通过。
- cliffy-config-file-parsing
C2存在题面未说明的评分要求
题目允许从配置子模块导入错误类,测试却要求还能从最外层模块导入;少了这个未说明的入口,整组测试都跑不了。 - csstree-shorthand-expansion-compression
C2存在题面未说明的评分要求
CSS背景效果完全相同,仅逗号后是否留空格不同,也会被判错。 - 代码把“可能为空”的窗口函数结果声明成不会为空,测试没查这个类型错误,实际提交仍拿到满分。
- dynamodb-toolbox-conditional-attribute-requirements
C2存在题面未说明的评分要求
用另一种JSON Schema写法表达完全相同的条件,也会被拒绝;测试强制使用题目没指定的关键词。 - eicrud-keyset-pagination-cursor
C3关键错误漏判
错误的翻页逻辑会漏掉同组记录,但测试数据恰好每组填满一页,把这个问题藏住了。 - etree-xml-diff-patch
C4评分可绕过 / 答案泄露
评分连续跑两轮测试,中间不恢复测试文件。按代码推导,提交中的启动代码可清空第二轮的检查;未实际运行攻击。 - fastapi-deprecation-response-headers
C2存在题面未说明的评分要求
同样表示UTC时区,日期写成Z就被拒绝,写成+00:00才通过;题目没有这种限制。 - fastapi-implicit-head-options
C2存在题面未说明的评分要求
即使用户主动开启OPTIONS路由,测试仍不允许它出现在OpenAPI接口文档中;题目没写这个限制。 - 题目要求按多个条件依次排序,但只用第一个条件、其余按文件路径排序的错误实现,也查不出来。
- geo-shapeindex-serialization
C3关键错误漏判
本该把索引一起保存,读取时直接恢复;代码却只存形状、每次重新建索引,也能通过测试。 - go-critic-doc-link-checker
C1答案或评分逻辑错误
模型正常新增的测试与隐藏测试里的同名声明撞车,评分时合到一起就无法编译。 - 评分准备时删掉了模型写在已有测试文件中的共用函数,其他测试还在调用它,导致编译失败。依据代码推导。
- go-git-worktree-merge-conflicts
C3关键错误漏判
合并后文件看起来是新的,保存进提交的却可能还是旧版本,目标分支的修改会丢失;现有评分查不出来。 - gql-incremental-graphql-delivery
C3关键错误漏判
本该收到一部分数据就先返回,代码却等完整响应到齐才返回,测试分不出这两种行为。 - helm-array-merge-strategies
C2存在题面未说明的评分要求
测试自己没放values.yaml,却不允许程序按题目规定发出“缺文件”警告,相当于偷偷加了一个例外。 - helm-unified-manifest-stream
C3关键错误漏判
同一份文档被保存进两个位置,读回来时又合并一次,会重复输出;测试没连起来检查保存再读取的过程。依据代码推导。 - httpx-streaming-json-iteration
C3关键错误漏判
题目要求边接收边返回JSON项,但等整个响应下载完再返回第一项,也能满足现有测试。 - ink-grid-box-layout
C2存在题面未说明的评分要求
按CSS默认方式依次摆放元素,前面可能留空位;测试却要求后来的元素回头补空位,题目没说。 - katex-multicolumn-array-spans
C3关键错误漏判
要求HTML里的单元格真正跨列,提交却没做到;评分主要检查另一种输出格式MathML,仍给了满分。 - kcp-go-multiplexed-kcp-streams
C3关键错误漏判
本该优先处理高优先级请求,代码却不分优先级轮流处理,现有“优先级测试”也会放过。 - langchain-request-coalescing
C1答案或评分逻辑错误
测试要求把两个同时发生的请求合成一次,却没保证它们真的同时发生;正常程序也可能因此被判错。 - mnamer-daemon-watch-lifecycle
C3关键错误漏判
检查“正在运行”的测试,也会接受“没有运行”这句话;程序始终报告停止,错误也查不出来。 - numba-stencil-boundary-modes
C3关键错误漏判
在混合使用固定值边界处理的情况下,计算结果有错;公开提交仍拿到满分,测试漏掉了这项明示要求。 - obsidian-linter-auto-table-of-contents
C4评分可绕过 / 答案泄露
目录功能的测试共用一个可随提交修改的辅助函数。按代码推导,保留测试名、清空实际检查即可绕过目录实现;未运行攻击。 - onedump-dump-encryption-pipeline
C3关键错误漏判
加密文件在完整数据块之间被截断,仍可能被当作完整文件接受;结束标记和整份数据的完整性检查被跳过,测试没发现。 - 模型正常写的命令行测试与隐藏测试重名,评分时放在一起无法编译,功能根本没机会接受测试。
- 程序把不该保护的SVG元素也保护起来,导致本应继续优化的元素被原样保留;公开提交仍得满分。
- 隐藏测试和模型自测重名,评分时合并后编译失败,没能运行的测试也被记成失败。
- pebble-durability-wait-apis
C2存在题面未说明的评分要求
题目只要求历史记录不能无限增长,测试却限定必须在1万条以内淘汰;正常保留16384条的方案会被拒绝。依据代码推导。 - prometheus-transactional-reload-status
C2存在题面未说明的评分要求
耗时保留小数毫秒也符合题意,测试却只认整数毫秒,题目没要求取整。 - pwntools-tube-multiplexing
C1答案或评分逻辑错误
测试先发送超量数据、之后才开始读取;正确的流量控制会先暂停发送,反而可能被这个测试卡住。 - python-statemachine-state-data-scoping
C1答案或评分逻辑错误
旧列表已经删掉,新列表恰好用了同一内存地址,测试就误认成“没换新”。这是该次唯一失败项,整题因此得零分。 - query-persist-restored-query-state
C1答案或评分逻辑错误
功能和时间戳都保留了,只因更新了旧测试的名字,评分器就当它没运行;该次因此得零分。 - returns-validated-error-accumulation
C2存在题面未说明的评分要求
测试内容没变,只改了内部函数名,自动生成的测试编号就变了;评分器找不到旧编号,直接判零。 - scc-bounded-memory-spilling
C3关键错误漏判
实际合并数据时会超过允许同时保留的文件记录数量,评分却只相信程序自己报的数字,没有查出超限。 - skrub-duration-encoding
C1答案或评分逻辑错误
增加测试参数后,五个实际通过的旧用例因编号改变被算成缺失。该提交还有其他真实错误,不能据此说它应得满分。 - sqlfmt-create-table-ddl-formatting
C2存在题面未说明的评分要求
题目允许表名后紧接括号,测试却要求中间必须有空格,语义相同也判错。 - task-task-graph-export
C3关键错误漏判
代码能生成任务图,却没把--graph命令接到这个功能上,用户实际用不了;评分只检查内部接口和能否编译,漏掉了这一点。 - 两个脚本的变量声明顺序不同时,代码会把一个脚本的变量位置用到另一个脚本,读写错变量;公开提交仍得满分。
- tengo-destructuring-bindings
C4评分可绕过 / 答案泄露
按代码推导,提交者可让91项功能测试保留名字却不做检查,不实现解构功能也能生成通过记录。未实际运行攻击。 - testem-bail-on-test-failure
C2存在题面未说明的评分要求
警告信息已经说明配置有问题,但没用英文invalid这个词就被拒绝;题目没限定这个措辞。 - testem-per-launcher-reports
C2存在题面未说明的评分要求
XML报告的意思完全一样,只是属性排列顺序不同,也会被扣分。 - updo-policy-alerting
C3关键错误漏判
告警组件单独测试能用,却没有接进真实监控流程,实际监控触发不了新功能;评分没查这一步。 - vulture-persistent-analysis-cache
C1答案或评分逻辑错误
增加测试参数后,四个实际通过的旧用例换了编号,评分器却当作缺失,最终判零。 - wazero-multi-module-snapshots
C3关键错误漏判
为了让增量快照更短,提交直接截断压缩数据;连续保存后数据不完整。测试只看长度、不检查能否解压,仍给满分。 - yaegi-go-embed-directives
C2存在题面未说明的评分要求
隐藏测试用了常见的Go测试名,题目却没保留这些名字;模型正常写出同名自测,评分时就无法编译。 - ytt-jsonpath-query-api
C5其他问题
提交本来能编译,加入同名隐藏测试后却编译失败,没能运行的测试被计为失败。
Doubtful:15 道题
- awilix-async-container-initialization
C4评分可绕过 / 答案泄露
评分恢复测试文件后,还会运行提交里的构建脚本;它可能再次改掉检查。是否真的能不做异步初始化就获分,尚未验证。 - cattrs-partial-structuring-recovery
C4评分可绕过 / 答案泄露
提交代码在加载时可能把pytest的检查替换掉,但还没有证实能通过完整评分、拿到分数。 - effect-sse-httpapi-streaming
C3关键错误漏判
本该边收到事件边返回,测试却可能放过“收齐再返回”的实现;还没确认这种错误实现能通过其他必过检查。 - igel-persist-feature-schema
C4评分可绕过 / 答案泄露
提交代码可能把pytest报告改成“通过”,但已有公开满分记录没有证明这种作弊成功。 - kea-atomic-signal-selectors
C4评分可绕过 / 答案泄露
提交可以影响测试配置和最终报告,但还没有实际记录证明“核心功能没做,也能得分”。 - kombu-virtual-queue-dead-lettering
C4评分可绕过 / 答案泄露
提交的pytest插件可能替代真实检查、生成通过报告;尚未证实不实现死信队列也能得分。 - koota-query-predicates
C4评分可绕过 / 答案泄露
评分会运行提交里的测试脚本,再相信它生成的报告;但还没证实改脚本就能跳过查询功能、拿到分数。 - mashumaro-flattened-dataclass-fields
C4评分可绕过 / 答案泄露
提交的pytest插件可能让测试不做检查却报告通过;还没在完整评分中确认能否骗分。 - mobly-grouped-test-barriers
C4评分可绕过 / 答案泄露
提交代码能进入pytest的执行和报告过程,可能跳过分组同步功能的检查;尚无成功获分记录。 - narwhals-rolling-window-suite
C4评分可绕过 / 答案泄露
提交代码可能覆盖评分器读取的XML报告,但是否能在正确时机覆盖、并被最终采信,还没有验证。 - ofetch-per-origin-circuit-breaker
C4评分可绕过 / 答案泄露
提交可改的测试入口可能直接生成通过报告,但还没证实不实现熔断功能也能得分。 - optique-conditional-option-dependencies
C4评分可绕过 / 答案泄露
评分直接运行提交可改的npm测试命令,报告可能受它控制;尚无成功绕过评分的记录。 - psd-tools-blend-range-api
C4评分可绕过 / 答案泄露
提交代码可能在程序退出时改写评分报告;还没证实核心接口没实现也能拿满分。 - sql-formatter-bigquery-pipe-formatting
C4评分可绕过 / 答案泄露
启动时执行的提交代码可能影响评分报告,但找到的公开改动都是正常修改,尚未证明作弊获分。 - textual-richlog-follow-state
C4评分可绕过 / 答案泄露
提交代码可能替代pytest的测试执行、伪造通过结果;查过更多公开记录后,仍没找到实际绕过获分的证据。
评测影响与后续更新
已确认的问题会使合规成果被拒绝,或使缺少核心功能的实现获得完成分;每项结论取决于各自的触发条件。