研究:花哨的 harness 让编码智能体更贵但并未更强
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
Kimi K3.1 Pro 今日上线 Kimi API,目前尚未开放权重,Moonshot 承诺 2026 年 11 月 4 日前发布完整模型权重。
推荐理由:Kimi K3.1 Pro 以 API 形式上线,价格与部分前沿模型持平,作者实测了三个推理档位的输出。
月之暗面发布推理模型 Kimi K3.1 Pro,在 Artificial Analysis 智能指数上得分 55,比 K3 提升 11 分,位列第四,仅落后 Claude Opus 5.5(58 分)3 分。
推荐理由:Kimi K3.1 Pro 在多个基准上逼近 Claude Opus 5.5,并计划开放权重,读者可据此比较开源与闭源模型的差距。
微软称其 AI 诊断工具 Diagnostic Orchestrator 在诊断疾病上最高可比人类医生准确四倍,相关研究周四发表在 Science。该系统由多个 AI 智能体协作推理症状与病史、决定检查项目并给出诊断,基于 OpenAI 的 GPT-5。
推荐理由:微软在 Science 发表研究,用多智能体系统与医生在病例和急诊数据上对比诊断准确率,并计划开源基准 SDBench。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她同时分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR。