Amazon SageMaker AI 多轮强化学习实操指南
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的实操指南,训练任务通过 AWS Lambda 转发调用托管在 Amazon Bedrock AgentCore 上的智能体,由智能体多轮行动后返回单一结果奖励,再用 GRPO 更新 LoRA 适配器。
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的实操指南,训练任务通过 AWS Lambda 转发调用托管在 Amazon Bedrock AgentCore 上的智能体,由智能体多轮行动后返回单一结果奖励,再用 GRPO 更新 LoRA 适配器。
NVIDIA 展示欧洲零售客户用开放模型和物理智能改造业务:Shopify 后训练 Nemotron 3.5 Lightning 用于 Sidekick 的 GraphQL 子智能体,内部基准上准确率超过领先前沿模型,服务成本降低 90%、响应快 7 倍。
微软研究院研究员 Xinzhi Zhang 与合著者 Zhao Song 证明了1995年提出的 KLS 猜想,确认对一大类高维概率分布,最佳平面切割与任意形状最佳切割的差距不超过一个与维度无关的固定常数。
推荐理由:这篇论文证明了一个悬置31年的几何猜想,并展示了研究者如何通过筛选和引导智能体搜索来推进数学证明。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,在笔记本上每秒证明 720 万至 870 万条 RISC-V 指令。在 15 个基准程序上,它平均比现有最快的同类 zkVM 快 10 至 39 倍,证明验证耗时约 12 毫秒。其安全性仅依赖 SHA-256、SHA-3 等标准哈希函数,无需椭圆曲线、格假设或可信设置。
推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与标准哈希安全之间同时取舍。
Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。
推荐理由:官方给出定价、基准排名与多个内部落地案例,可据此判断前沿模型在编码与科研工作流中的实际位置。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,之后再逐步扩展至开发者、企业和消费者。
推荐理由:官方披露了 Argon 在编码、企业知识工作和网络安全防御上的基准表现与内部落地案例,可据此判断前沿模型的能力边界。
Berkeley Sky Lab 团队为 K-Search 进化式内核搜索框架新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,让搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
伯克利 AI 研究团队提出 ABBEL 框架,将摘要以自然语言信念状态的形式隔离并监督其信息内容,让智能体仅凭当前信念选择动作。在 CollabBench 协作编程任务上,基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也显著低于全上下文设置。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不到 $1,部分厂商低于 $0.10,中位年降幅约 50x,正进入"近乎免费智能"时代。文章据此提出三类数据系统挑战:为智能体设计的数据系统、支撑智能体群体运行的数据系统、以及由智能体自行合成并需可验证的数据系统。
伯克利 AI 研究团队综述了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定,而非模型自主选择。
伯克利 AI 研究团队提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中注入随机性以促进探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型梯度脆弱等问题,使基于梯度的长时程规划更稳健。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10 倍更少的消融达到与 SPEX 相当的性能。在情感分析任务上,SPEX 在上下文扩展到数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。