研究:花哨的 harness 让编码智能体更贵但并未更强
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
Anthropic 的 Frontier Red Team 与 Theorem 合作,让 Claude 把 OSS-Fuzz 中 123 个开源库的崩溃测试转成数学问题,并分析编译后的机器码,几周内生成约 1.8 亿行证明代码,由 Rocq 独立校验。
推荐理由:Anthropic 用 Claude 为 OSS-Fuzz 库生成形式化证明,并说明了适用条件与算力成本。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR。