Amazon SageMaker AI 多轮强化学习实操指南
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的实操指南,训练任务通过 AWS Lambda 转发调用托管在 Amazon Bedrock AgentCore 上的智能体,由智能体多轮行动后返回单一结果奖励,再用 GRPO 更新 LoRA 适配器。
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的实操指南,训练任务通过 AWS Lambda 转发调用托管在 Amazon Bedrock AgentCore 上的智能体,由智能体多轮行动后返回单一结果奖励,再用 GRPO 更新 LoRA 适配器。
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework(AAIF)用 llama3.2:1b 作为编排层,将常规任务交给 Ollama 本地 SLM 处理,复杂请求经 Amazon Bedrock 路由到云端前沿模型。框架分智能编排、本地处理、云端处理三层,可运行在 8 GB 内存的 Raspberry Pi、纯云端或混合部署中。
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,并梳理生产化过程中的五个核心挑战及对应技术方案。系统由 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等智能体协作,把 CSV 数据和自然语言提示转成带引用的 DOCX 分析报告。
AWS 发布教程,演示如何通过 AWS PrivateLink 的 VPC 端点与 VPC 连接,让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的本地数据源。
拜耳作物科学在 Amazon Bedrock AgentCore 上构建了多智能体自然语言接口 Agentic Decision Engine(ADE),叠加在其 ML 工作流系统 CDE 之上,第一阶段约 80% 的用户问题无需工程师介入即可解决。
NVIDIA 与欧洲多国政府及合作伙伴推进公共部门 AI 项目:欧盟委员会扩展 deepset 的 Haystack 企业平台以支撑 AI@EC,波兰用 NVIDIA DGX BasePOD 和 MONAI 构建医学影像平台,伦敦 Locai Labs 发布含 100 万条合成人设的 Nemotron-Personas-UK 数据集。
OpenAI 发布 Decisions API,面向任意应用提供快速、聚焦、低成本的决策能力。该 API 主打响应速度与低成本,可用于构建响应更快的应用。
AWS 宣布 SageMaker AI 无服务器模型定制的训练会话正式可用,用户可自行编写并协调训练循环,包括自定义损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与检查点存储由 SageMaker AI 负责。
AWS 发布 Amazon SageMaker AI 训练会话 API,把 forward_backward、optim_step、sample 等操作变成 API 调用,模型在托管 GPU 上保持加载,用户只需在本地 Python 中编写训练循环。
Amazon Quick 是符合 HIPAA 资格的服务,其 Web、桌面和移动客户端均适用,可在签署 AWS BAA 后用于处理 PHI。它提供 ACL 感知检索、聊天与反馈日志,以及对每个聊天智能体可执行操作的控制,并支持通过连接器和 MCP 接入外部系统。文章强调 HIPAA 资格不等于合规,用户仍需自行完成数据分类、配置和行政与物理防护措施。
该方案将 AI 智能体生成的每个句子即时送入部署在 Amazon SageMaker AI 实时端点上的 Kokoro-82M 语音模型,让语音合成从第一句就开始,而不必等整段回复生成完毕。Kokoro-82M 仅有 8200 万参数,可运行在单台 ml.g5.xlarge GPU 实例上,容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
Rescale 基于 AWS 的 AI-DLC 框架,用 Strands Agents 构建了自动分类和路由夜间端到端测试失败的 AI 分诊智能体,从问题定义到预发部署仅用五天,数周内进入生产。
微软研究院发布 Flint-interactive,一种构建在 Flint 之上的交互式数据可视化语言,让智能体生成可点击、筛选、缩放、高亮并支持跨图表联动的图表。它把点击拖拽等原始触发解析为语义事件,用户只需用高层算子描述更新行为,交互与视觉依赖由 Flint 编译器处理。该语言可通过 Flint-MCP 和 MCP Apps 在聊天环境中使用,也提供编程 API 供开发者构建仪表盘和数据故事。
NVIDIA 发布 AIOps 平台 Minerva,汇集基础设施与 AI 工作负载的遥测数据,用专用 AI 模型把数据转化为可执行洞察。Minerva 跨 GPU、网络、存储、调度器和工作负载连接信号,构建动态知识图谱,每小时分析数十亿数据点,可把大量告警聚合成单一事件并给出可能根因。
推荐理由:原文说明了 Minerva 如何把 GPU、网络与作业信号关联成知识图谱,读者可据此了解 AI 工厂运维的整合思路。
NVIDIA 展示欧洲零售客户用开放模型和物理智能改造业务:Shopify 后训练 Nemotron 3.5 Lightning 用于 Sidekick 的 GraphQL 子智能体,内部基准上准确率超过领先前沿模型,服务成本降低 90%、响应快 7 倍。
微软研究院研究员 Xinzhi Zhang 与合著者 Zhao Song 证明了1995年提出的 KLS 猜想,确认对一大类高维概率分布,最佳平面切割与任意形状最佳切割的差距不超过一个与维度无关的固定常数。
推荐理由:这篇论文证明了一个悬置31年的几何猜想,并展示了研究者如何通过筛选和引导智能体搜索来推进数学证明。
GitHub Blog 采访三位 Java Champion,分享在生产与开源项目中使用 GitHub Copilot 的具体做法。Vlad Mihalcea 用 Copilot 在 IntelliJ IDEA 中开发 Hypersistence Optimizer 的事件历史 Web 应用,原本需数周的任务两天完成,并按任务复杂度切换模型。
GitHub Copilot 应用中的会话可直接在 VS Code 中打开,保留原有对话、代码改动和工作上下文,无需重新描述任务。VS Code 会加载该会话关联的 worktree,并在 Copilot 侧边栏显示原会话,便于逐行审查 diff、手动编辑、本地运行测试,最后提交并推送到该会话对应的 pull request。
Google DeepMind 发布技术演示,展示生物学家如何用智能体开发平台 Google Antigravity 在单次会话中完成抗菌肽候选的发现、结构评估与优先级排序,把原本分散在多个数据库的检索压缩到一次交互中。
Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。
推荐理由:官方给出定价、基准排名与多个内部落地案例,可据此判断前沿模型在编码与科研工作流中的实际位置。
GitHub Copilot 入门系列介绍四种让 Copilot 适配项目的方式:仓库级自定义指令(.github/copilot-instructions.md 及带 applyTo 字段的路径级指令文件)、打包可复用流程的 agent skills(.github/skills)、面向大型任务的 custom agents(.github/agents)。
微软研究院提出研究系统 StudentSim,用公开的去标识化学习记录为每位学生训练个性化 AI 学生模拟器,在真实学习者测试前评估和改进 AI 辅导。该系统从行为保真度与指导响应性两个维度衡量模拟器,并配套推出覆盖国际象棋、英语二语写作和数学的 StudentSimEval 基准,表现优于领先基线。StudentSim 并非产品,未进入课堂,也不旨在取代教师。
微软亚洲研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:原文给出框架的代码规模、Kubernetes 运行方式和一次编码智能体训练实验的分数变化,便于判断接入成本。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她同时分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR。
GitHub 博客提出 AI 时代开发者应强化的三项技能:学会指挥 AI 智能体而非仅使用它,不轻信 AI 的第一个答案,以及用 AI 节省的时间解决更大问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明其用第二个模型审查计划、代码和测试,从而发现首个模型遗漏的问题。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,之后再逐步扩展至开发者、企业和消费者。
推荐理由:官方披露了 Argon 在编码、企业知识工作和网络安全防御上的基准表现与内部落地案例,可据此判断前沿模型的能力边界。
GitHub Copilot 应用中的 canvas 是一种可与智能体共享的双向自定义界面,用户只需在智能体会话中输入 /create-canvas 并用自然语言描述需求,即可生成看板、发布清单或仪表盘等界面。
伯克利 AI 研究团队提出 ABBEL 框架,将摘要以自然语言信念状态的形式隔离并监督其信息内容,让智能体仅凭当前信念选择动作。在 CollabBench 协作编程任务上,基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也显著低于全上下文设置。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不到 $1,部分厂商低于 $0.10,中位年降幅约 50x,正进入"近乎免费智能"时代。文章据此提出三类数据系统挑战:为智能体设计的数据系统、支撑智能体群体运行的数据系统、以及由智能体自行合成并需可验证的数据系统。