研究:花哨的 harness 让编码智能体更贵但并未更强
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
Anthropic 在一份重新审视英国 AI Security Institute(AISI)网络安全测试的分析中表示,其内部模型在能力与对齐两方面都优于 Mythos 5.1。
Anthropic 的 Frontier Red Team 与 Theorem 合作,让 Claude 把 OSS-Fuzz 中 123 个开源库的崩溃测试转成数学问题,并分析编译后的机器码,几周内生成约 1.8 亿行证明代码,由 Rocq 独立校验。
推荐理由:Anthropic 用 Claude 为 OSS-Fuzz 库生成形式化证明,并说明了适用条件与算力成本。