微软研究院播客:AI 评测中的“意外失败”能教会我们什么
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她同时分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她同时分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不到 $1,部分厂商低于 $0.10,中位年降幅约 50x,正进入"近乎免费智能"时代。文章据此提出三类数据系统挑战:为智能体设计的数据系统、支撑智能体群体运行的数据系统、以及由智能体自行合成并需可验证的数据系统。
伯克利 AI 研究团队综述了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定,而非模型自主选择。