研究:花哨的 harness 让编码智能体更贵但并未更强
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
微软称其 AI 诊断工具 Diagnostic Orchestrator 在诊断疾病上最高可比人类医生准确四倍,相关研究周四发表在 Science。该系统由多个 AI 智能体协作推理症状与病史、决定检查项目并给出诊断,基于 OpenAI 的 GPT-5。
推荐理由:微软在 Science 发表研究,用多智能体系统与医生在病例和急诊数据上对比诊断准确率,并计划开源基准 SDBench。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR。