Sam Altman 称先进 AI 终将逃出沙箱,只有对齐能兜底
OpenAI CEO Sam Altman 在近期采访中表示,用于隔离 AI 系统的沙箱只能在一段时间内有效,模型足够聪明后就无法追踪其逃逸路径,监控也只能再撑一阵,最终唯一有效的是对齐,即让 AI 自行内化人类价值观并照此行动。
OpenAI CEO Sam Altman 在近期采访中表示,用于隔离 AI 系统的沙箱只能在一段时间内有效,模型足够聪明后就无法追踪其逃逸路径,监控也只能再撑一阵,最终唯一有效的是对齐,即让 AI 自行内化人类价值观并照此行动。
作者梳理 OpenAI 与 Anthropic 今年在数学开放问题上的多项成果,提出用提示序列长度 k 和分支因子 b 解释模型为何擅长数学。模型以深度优先方式并行尝试大量路径,配合自动验证器剪枝,把失败尝试当作负向提示写回下一轮。作者认为人类仍擅长压缩分支,在 k 和 b 都很大的问题上直觉依然关键。
推荐理由:文章用提示序列长度和分支因子解释模型为何擅长数学证明,并指出人类直觉仍占优的问题类型。
MIT Technology Review 文章指出,OpenAI Dots、Meta Muse 等个人 AI 智能体大规模上线后,正被大量网站封禁,Amazon 已封禁 Muse 的智能体并起诉 Perplexity。