研究:花哨的 harness 让编码智能体更贵但并未更强
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
一项研究让 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 在 Claude Code、OpenCode、mini-SWE-agent 三种 harness 上跑 SWE-bench Verified,发现换 harness 带来的任务结果变化与同一配置重跑相当,通过率差异多在测量噪声范围内。
月之暗面发布推理模型 Kimi K3.1 Pro,在 Artificial Analysis 智能指数上得分 55,比 K3 提升 11 分,位列第四,仅落后 Claude Opus 5.5(58 分)3 分。
推荐理由:Kimi K3.1 Pro 在多个基准上逼近 Claude Opus 5.5,并计划开放权重,读者可据此比较开源与闭源模型的差距。
Recursive 发布首个模型 Flint,这是一个可在笔记本本地运行的免费编码模型,以 Apache 2.0 许可在 Hugging Face 开放下载。公司称其自动研究系统 Eureka Machine 参与了从预训练到后训练、推理的几乎每个环节,小团队不到四个月从零建成该模型。
改装者 Sammy Hajhamid(pepsipu)借助 OpenAI Codex 实现了 Switch 2 的“ns2jb”越狱,并演示了运行含 Cinnamoroll、Peter Griffin 等新角色的自定义版 Mario Kart World。
The Verge 报道称,AI 编码工具让复古游戏的反编译与重编译移植速度大幅提升,近一个月来浏览器版 Halo、iPhone 版 Wind Waker 等项目频繁走红。
Anthropic 的 Frontier Red Team 与 Theorem 合作,让 Claude 把 OSS-Fuzz 中 123 个开源库的崩溃测试转成数学问题,并分析编译后的机器码,几周内生成约 1.8 亿行证明代码,由 Rocq 独立校验。
推荐理由:Anthropic 用 Claude 为 OSS-Fuzz 库生成形式化证明,并说明了适用条件与算力成本。
AI 初创公司 Recursive 发布首个语言模型 Flint,研发过程中名为 Eureka Machine 的 AI 系统参与了提出想法、搭建、测试和规划后续实验等环节。
Simon Willison 发布 vibe coded 即时战略游戏 Battle Drones,经 12 个大版本迭代、321 次由 Claude Code 等编码智能体提交的 commit,可在手机和桌面浏览器运行。
GitHub Blog 采访三位 Java Champion,分享在生产与开源项目中使用 GitHub Copilot 的具体做法。Vlad Mihalcea 用 Copilot 在 IntelliJ IDEA 中开发 Hypersistence Optimizer 的事件历史 Web 应用,原本需数周的任务两天完成,并按任务复杂度切换模型。
GitHub Copilot 应用中的会话可直接在 VS Code 中打开,保留原有对话、代码改动和工作上下文,无需重新描述任务。VS Code 会加载该会话关联的 worktree,并在 Copilot 侧边栏显示原会话,便于逐行审查 diff、手动编辑、本地运行测试,最后提交并推送到该会话对应的 pull request。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,把 push 保护扩展到无固定格式的非结构化密钥,候选密钥批量评估耗时低于 2 毫秒,可拦截的密钥数量有望翻倍以上。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR。
GitHub 博客提出 AI 时代开发者应强化的三项技能:学会指挥 AI 智能体而非仅使用它,不轻信 AI 的第一个答案,以及用 AI 节省的时间解决更大问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明其用第二个模型审查计划、代码和测试,从而发现首个模型遗漏的问题。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,之后再逐步扩展至开发者、企业和消费者。
推荐理由:官方披露了 Argon 在编码、企业知识工作和网络安全防御上的基准表现与内部落地案例,可据此判断前沿模型的能力边界。