研究:花哨的 harness 让编码智能体更贵但并未更强
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
微软称其 AI 诊断工具 Diagnostic Orchestrator 在诊断疾病上最高可比人类医生准确四倍,相关研究周四发表在 Science。该系统由多个 AI 智能体协作推理症状与病史、决定检查项目并给出诊断,基于 OpenAI 的 GPT-5。
推荐理由:微软在 Science 发表研究,用多智能体系统与医生在病例和急诊数据上对比诊断准确率,并计划开源基准 SDBench。
OpenAI 与 PerturbAI、Scripps Research 合作,部署数千个基于 GPT-Rosalind 的 AI 智能体分析数百万个小鼠细胞的全脑 CRISPR 图谱,整个分析耗时 32 分钟,团队估算人工完成需数月至一年。
MIT 研究者在 arXiv 发表论文,将 13 个运行 Claude Opus 4.7 的 Eko 智能体放在模拟荒岛上无任务探索 30 小时,发现它们会自创挑战,且此后在指定任务上普遍胜过从未上岛的同类智能体。
微软 AI 的诊断系统 MAI-DxO 在《Science》发表的模拟研究中,对《新英格兰医学杂志》复杂病例的诊断准确率为 83%,而单独工作的全科医生和内科医生为 36%。
微软研究院研究员 Xinzhi Zhang 与合著者 Zhao Song 证明了1995年提出的 KLS 猜想,确认对一大类高维概率分布,最佳平面切割与任意形状最佳切割的差距不超过一个与维度无关的固定常数。
推荐理由:这篇论文证明了一个悬置31年的几何猜想,并展示了研究者如何通过筛选和引导智能体搜索来推进数学证明。
微软研究院提出研究系统 StudentSim,用公开的去标识化学习记录为每位学生训练个性化 AI 学生模拟器,在真实学习者测试前评估和改进 AI 辅导。该系统从行为保真度与指导响应性两个维度衡量模拟器,并配套推出覆盖国际象棋、英语二语写作和数学的 StudentSimEval 基准,表现优于领先基线。StudentSim 并非产品,未进入课堂,也不旨在取代教师。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR。
伯克利 AI 研究团队提出 ABBEL 框架,将摘要以自然语言信念状态的形式隔离并监督其信息内容,让智能体仅凭当前信念选择动作。在 CollabBench 协作编程任务上,基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也显著低于全上下文设置。