Amazon SageMaker AI 多轮强化学习实操指南
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的实操指南,训练任务通过 AWS Lambda 转发调用托管在 Amazon Bedrock AgentCore 上的智能体,由智能体多轮行动后返回单一结果奖励,再用 GRPO 更新 LoRA 适配器。
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的实操指南,训练任务通过 AWS Lambda 转发调用托管在 Amazon Bedrock AgentCore 上的智能体,由智能体多轮行动后返回单一结果奖励,再用 GRPO 更新 LoRA 适配器。
U.S. Hunger 借助 Amazon Quick 让领导层直接探索组织数据,并通过 Quick Spaces 共享 KPI 定义与财务文档。Quick 每晚 2 点(美东时间)将 SQL Server 数据刷新至 SPICE 内存引擎,目前已有 17 名同事获得访问权限,覆盖高管、技术、Full Cart 项目、财务与合规等团队。
AWS 博客演示在单台 trn2.48xlarge 上用 torchtitan 训练 Qwen3-4B-Instruct-2507 的三种方式:以 Transformers v5 作为建模后端、切换 torchtitan 原生 Qwen3 实现,以及接入 NKI MoE kernel。
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework(AAIF)用 llama3.2:1b 作为编排层,将常规任务交给 Ollama 本地 SLM 处理,复杂请求经 Amazon Bedrock 路由到云端前沿模型。框架分智能编排、本地处理、云端处理三层,可运行在 8 GB 内存的 Raspberry Pi、纯云端或混合部署中。
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,并梳理生产化过程中的五个核心挑战及对应技术方案。系统由 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等智能体协作,把 CSV 数据和自然语言提示转成带引用的 DOCX 分析报告。
AWS 发布教程,演示如何通过 AWS PrivateLink 的 VPC 端点与 VPC 连接,让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的本地数据源。
拜耳作物科学在 Amazon Bedrock AgentCore 上构建了多智能体自然语言接口 Agentic Decision Engine(ADE),叠加在其 ML 工作流系统 CDE 之上,第一阶段约 80% 的用户问题无需工程师介入即可解决。
针对 SageMaker AI 端点更新时自动扩缩容导致 CloudFormation/CDK 部署失败的问题,AWS 给出一个可复用 CDK construct,用三个自定义资源在端点更新前后自动注销并重新注册扩缩容目标。
OpenAI 详解如何通过可靠的多租户架构、全局缓存和 Azure Cosmos DB 扩展 Habitat 存储系统,为 ChatGPT 带来 12 倍读取速度提升。该系统需支撑超过 10 亿 ChatGPT 用户。
黄仁勋10月23日访问阿斯塔纳,与哈萨克斯坦总统及 AI 部长对话,该国正从基础设施规划转向全栈 AI 部署。Firebird 获美国出口许可,将部署 45,000 块 NVIDIA Grace Blackwell GPU,首期与 Kazakhtelecom 共建,目标 2027 年第三季度商用。
EXL 研究人员在 "Engineering the Harness" 系列中探讨企业 AI 的生产化挑战,指出服务框架(含架构、内存管理、调度与推理优化)比模型选型更决定 AI 能否可靠、经济地规模化交付。文章强调应从工作负载出发确定约束与架构,先测量再优化,并以 KV cache 随并发和上下文增长导致 GPU 显存瓶颈为例说明各环节相互影响。
Amazon Polly 生成式引擎完成升级,新增 14 种语音、覆盖 9 个 locale,并首次在生成式引擎中正式提供印地语和芬兰语。升级后共提供 57 种生成式语音,覆盖 11 种语言、25 个 locale,并扩展至 AWS GovCloud(US-West),合计 11 个 AWS Region。此次为原地升级,语音名称和 API 调用不变,现有应用无需改代码,价格也不变。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手,覆盖西班牙、葡萄牙、法国三国 330 多家门店,用四种语言回答零售运营、兽医诊疗、人事入职与采购问题,无需自建 RAG 基础设施。
AWS 宣布 SageMaker AI 无服务器模型定制的训练会话正式可用,用户可自行编写并协调训练循环,包括自定义损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与检查点存储由 SageMaker AI 负责。
AWS 发布 Amazon SageMaker AI 训练会话 API,把 forward_backward、optim_step、sample 等操作变成 API 调用,模型在托管 GPU 上保持加载,用户只需在本地 Python 中编写训练循环。
Google 宣布 Agent Compute Engine,为每个 AI 智能体分配独立的隔离虚拟机,该服务已用于支撑 Gemini,并将在未来几个月开放预览。
推荐理由:原文给出了每个智能体独立 microVM 的隔离方式与暂停回收机制,读者可据此判断智能体规模化运行的成本结构。
Amazon Quick 是符合 HIPAA 资格的服务,其 Web、桌面和移动客户端均适用,可在签署 AWS BAA 后用于处理 PHI。它提供 ACL 感知检索、聊天与反馈日志,以及对每个聊天智能体可执行操作的控制,并支持通过连接器和 MCP 接入外部系统。文章强调 HIPAA 资格不等于合规,用户仍需自行完成数据分类、配置和行政与物理防护措施。
该方案将 AI 智能体生成的每个句子即时送入部署在 Amazon SageMaker AI 实时端点上的 Kokoro-82M 语音模型,让语音合成从第一句就开始,而不必等整段回复生成完毕。Kokoro-82M 仅有 8200 万参数,可运行在单台 ml.g5.xlarge GPU 实例上,容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
Modal CEO Erik Bernhardsson 在访谈中解释 AI 算力需求为何呈矩形:固定 GPU 容量合同与真实负载的波动不匹配,Modal 通过聚合数千客户需求、按需弹性分配来化解。Modal 在 $5B C 轮后年化收入突破 $10 亿,并以 $16B 估值完成 $7.5 亿 D 轮,累计启动近 30 亿个 sandbox,sandbox 已占其收入约三分之一。
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题,AWS 在 Amazon SageMaker AI 实时端点上以自定义容器部署 82M 参数的 Kokoro-82M,用实测的 Q_max(单实例不突破 SLO 的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与两个冷却时间。
Rescale 基于 AWS 的 AI-DLC 框架,用 Strands Agents 构建了自动分类和路由夜间端到端测试失败的 AI 分诊智能体,从问题定义到预发部署仅用五天,数周内进入生产。
NVIDIA 发布 AIOps 平台 Minerva,汇集基础设施与 AI 工作负载的遥测数据,用专用 AI 模型把数据转化为可执行洞察。Minerva 跨 GPU、网络、存储、调度器和工作负载连接信号,构建动态知识图谱,每小时分析数十亿数据点,可把大量告警聚合成单一事件并给出可能根因。
推荐理由:原文说明了 Minerva 如何把 GPU、网络与作业信号关联成知识图谱,读者可据此了解 AI 工厂运维的整合思路。
Moshi CEO Anekha Sokhal 在 AI Engineer New York 与 swyx 对谈,介绍公司为交易员打造的市场信息推荐引擎,把市场数据、工作界面与个性化推荐结合,她形容这是 Bloomberg、Claude 与 Netflix 的结合体。她回顾了从数学、JPMorgan 能源衍生品交易到创业的路径,并谈到可信信源、文档抽取以及自建还是采购模型的取舍。
Celonis 企业 AI 首席科学家 Devavrat Shah 提出"决策智能",主张 AI 智能体必须理解任务在业务流程中的角色与业务约束,否则会忽略关键限制、造成代价高昂的错误或浪费算力。他建议企业从具体业务决策入手,先找出最困难的环节再测试 AI 能否改进,并以速度与价值增益决定是否扩展。
WD 内部测量显示,一段返回给用户的 3.97MB 720p 8 秒 AI 视频,在后台留下超过 500MB 关联数据,是输出文件体积的 130 倍。WD 委托 IDC 对 763 名 IT 与业务决策者的调查中,近 95% 称过去 12 个月生成式 AI 带来数据量增长,约 61% 增幅达 25% 以上。
在 GTC Berlin 上,Revolut、Starling Bank、Lloyds、bunq、Santander 等欧洲银行与支付公司展示了基于 NVIDIA 加速计算和开放权重模型的生产级智能应用。
NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真 checkpoint 和 Cosmos Data Factory 蓝图,用于帮助开发者构建世界模型。
推荐理由:原文列出 Cosmos 平台新增的训练、仿真与数据工具,并给出保时捷等企业的落地数据,可据此判断世界模型开发流程的变化。
NVIDIA DSX AI Factory Platform 正被全球企业用于把电网与 AI 工厂作为一套系统统一规划、仿真和运行。GE Vernova、Hitachi Energy、Schneider Electric、Siemens Energy 等厂商基于 DSX Sim、DSX Flex、DSX MaxLPS 等组件推进参考设计与数字孪生。
NVIDIA 展示欧洲零售客户用开放模型和物理智能改造业务:Shopify 后训练 Nemotron 3.5 Lightning 用于 Sidekick 的 GraphQL 子智能体,内部基准上准确率超过领先前沿模型,服务成本降低 90%、响应快 7 倍。
NVIDIA 在 GTC Berlin 展示欧洲机构基于 Earth-2 开放模型的实际应用,并推出面向欧洲短期预报的区域模型 StormScope EU,利用 EUMETSAT 卫星观测以 10 分钟间隔预测 16 个 Meteosat 通道的云况。
据 Ars Technica 报道,Google Cloud 将在未来几周内上线 OpenAI 的 GPT 6.1 Astra、Sol 和 Luna 模型。
OpenAI 与 Google Cloud 合作,将 OpenAI 前沿模型和 Codex 工作流接入 Gemini 的 Model Garden,并通过 Google Cloud Marketplace 提供。原文未披露具体模型版本、上线时间和定价。
推荐理由:OpenAI 前沿模型与 Codex 工作流接入 Google Cloud 的 Gemini Model Garden,读者可了解企业采购渠道的变化。
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer,并公布单集群日处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成 230 token/s 等生产数据。
推荐理由:原文把 DeepInfer 的架构取舍、缓存分层与成本测算放在一起,读者可据此判断开源推理栈与闭源服务的差距。
Tenex 联合创始人 Alex Lieberman 与 CJ Hess 在 AIE New York 介绍其 AI 原生 SDLC 实践:用 story points 作为工程薪酬的重要组成,并以 MetaHarness 把技能、项目文档和 CLI 与代码一起签入 Git。
HPE 提出企业 AI 应从"每个 token 或 GPU 小时多少钱"转向"每个有用产出的有效成本",即完成可用工作所需的平台、模型、运维与算力总成本。企业可选自建栈、按需消费或集成私有 AI 平台三条路径,HPE Private Cloud AI 将调度、模型选择、GPU 分区和 KV-cache 管理作为效率杠杆,并附 90 天前向部署工程师服务。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,在笔记本上每秒证明 720 万至 870 万条 RISC-V 指令。在 15 个基准程序上,它平均比现有最快的同类 zkVM 快 10 至 39 倍,证明验证耗时约 12 毫秒。其安全性仅依赖 SHA-256、SHA-3 等标准哈希函数,无需椭圆曲线、格假设或可信设置。
推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与标准哈希安全之间同时取舍。
GitHub 为密钥扫描训练了专用 ModernBERT 分类器,配合正则候选生成的两阶段流水线,替代此前的 LLM 方案。相比旧 LLM 流水线,告警接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本降低 98% 以上。该效率使通用密钥检测得以扩展到推送保护,在开发者推送前返回结果。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,把 push 保护扩展到无固定格式的非结构化密钥,候选密钥批量评估耗时低于 2 毫秒,可拦截的密钥数量有望翻倍以上。
微软亚洲研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:原文给出框架的代码规模、Kubernetes 运行方式和一次编码智能体训练实验的分数变化,便于判断接入成本。
微软研究院实习生 Rohan Kannan 开发了一套机器学习管线,利用 L1 点太阳风观测和 AE、Dst 指数预报,结合纬度与地质电导率,为美国本土 66,935 座变电站生成 30 至 60 分钟前的局地风险估计。