Amazon SageMaker AI 多轮强化学习实操指南
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的实操指南,训练任务通过 AWS Lambda 转发调用托管在 Amazon Bedrock AgentCore 上的智能体,由智能体多轮行动后返回单一结果奖励,再用 GRPO 更新 LoRA 适配器。
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的实操指南,训练任务通过 AWS Lambda 转发调用托管在 Amazon Bedrock AgentCore 上的智能体,由智能体多轮行动后返回单一结果奖励,再用 GRPO 更新 LoRA 适配器。
U.S. Hunger 借助 Amazon Quick 让领导层直接探索组织数据,并通过 Quick Spaces 共享 KPI 定义与财务文档。Quick 每晚 2 点(美东时间)将 SQL Server 数据刷新至 SPICE 内存引擎,目前已有 17 名同事获得访问权限,覆盖高管、技术、Full Cart 项目、财务与合规等团队。
AWS 博客演示在单台 trn2.48xlarge 上用 torchtitan 训练 Qwen3-4B-Instruct-2507 的三种方式:以 Transformers v5 作为建模后端、切换 torchtitan 原生 Qwen3 实现,以及接入 NKI MoE kernel。
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework(AAIF)用 llama3.2:1b 作为编排层,将常规任务交给 Ollama 本地 SLM 处理,复杂请求经 Amazon Bedrock 路由到云端前沿模型。框架分智能编排、本地处理、云端处理三层,可运行在 8 GB 内存的 Raspberry Pi、纯云端或混合部署中。
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,并梳理生产化过程中的五个核心挑战及对应技术方案。系统由 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等智能体协作,把 CSV 数据和自然语言提示转成带引用的 DOCX 分析报告。
AWS 发布教程,演示如何通过 AWS PrivateLink 的 VPC 端点与 VPC 连接,让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的本地数据源。
拜耳作物科学在 Amazon Bedrock AgentCore 上构建了多智能体自然语言接口 Agentic Decision Engine(ADE),叠加在其 ML 工作流系统 CDE 之上,第一阶段约 80% 的用户问题无需工程师介入即可解决。
针对 SageMaker AI 端点更新时自动扩缩容导致 CloudFormation/CDK 部署失败的问题,AWS 给出一个可复用 CDK construct,用三个自定义资源在端点更新前后自动注销并重新注册扩缩容目标。
OpenAI 详解如何通过可靠的多租户架构、全局缓存和 Azure Cosmos DB 扩展 Habitat 存储系统,为 ChatGPT 带来 12 倍读取速度提升。该系统需支撑超过 10 亿 ChatGPT 用户。
黄仁勋10月23日访问阿斯塔纳,与哈萨克斯坦总统及 AI 部长对话,该国正从基础设施规划转向全栈 AI 部署。Firebird 获美国出口许可,将部署 45,000 块 NVIDIA Grace Blackwell GPU,首期与 Kazakhtelecom 共建,目标 2027 年第三季度商用。
Amazon Polly 生成式引擎完成升级,新增 14 种语音、覆盖 9 个 locale,并首次在生成式引擎中正式提供印地语和芬兰语。升级后共提供 57 种生成式语音,覆盖 11 种语言、25 个 locale,并扩展至 AWS GovCloud(US-West),合计 11 个 AWS Region。此次为原地升级,语音名称和 API 调用不变,现有应用无需改代码,价格也不变。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手,覆盖西班牙、葡萄牙、法国三国 330 多家门店,用四种语言回答零售运营、兽医诊疗、人事入职与采购问题,无需自建 RAG 基础设施。
AWS 宣布 SageMaker AI 无服务器模型定制的训练会话正式可用,用户可自行编写并协调训练循环,包括自定义损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与检查点存储由 SageMaker AI 负责。
AWS 发布 Amazon SageMaker AI 训练会话 API,把 forward_backward、optim_step、sample 等操作变成 API 调用,模型在托管 GPU 上保持加载,用户只需在本地 Python 中编写训练循环。
Amazon Quick 是符合 HIPAA 资格的服务,其 Web、桌面和移动客户端均适用,可在签署 AWS BAA 后用于处理 PHI。它提供 ACL 感知检索、聊天与反馈日志,以及对每个聊天智能体可执行操作的控制,并支持通过连接器和 MCP 接入外部系统。文章强调 HIPAA 资格不等于合规,用户仍需自行完成数据分类、配置和行政与物理防护措施。
该方案将 AI 智能体生成的每个句子即时送入部署在 Amazon SageMaker AI 实时端点上的 Kokoro-82M 语音模型,让语音合成从第一句就开始,而不必等整段回复生成完毕。Kokoro-82M 仅有 8200 万参数,可运行在单台 ml.g5.xlarge GPU 实例上,容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题,AWS 在 Amazon SageMaker AI 实时端点上以自定义容器部署 82M 参数的 Kokoro-82M,用实测的 Q_max(单实例不突破 SLO 的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与两个冷却时间。
Rescale 基于 AWS 的 AI-DLC 框架,用 Strands Agents 构建了自动分类和路由夜间端到端测试失败的 AI 分诊智能体,从问题定义到预发部署仅用五天,数周内进入生产。
NVIDIA 发布 AIOps 平台 Minerva,汇集基础设施与 AI 工作负载的遥测数据,用专用 AI 模型把数据转化为可执行洞察。Minerva 跨 GPU、网络、存储、调度器和工作负载连接信号,构建动态知识图谱,每小时分析数十亿数据点,可把大量告警聚合成单一事件并给出可能根因。
推荐理由:原文说明了 Minerva 如何把 GPU、网络与作业信号关联成知识图谱,读者可据此了解 AI 工厂运维的整合思路。
在 GTC Berlin 上,Revolut、Starling Bank、Lloyds、bunq、Santander 等欧洲银行与支付公司展示了基于 NVIDIA 加速计算和开放权重模型的生产级智能应用。
NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真 checkpoint 和 Cosmos Data Factory 蓝图,用于帮助开发者构建世界模型。
推荐理由:原文列出 Cosmos 平台新增的训练、仿真与数据工具,并给出保时捷等企业的落地数据,可据此判断世界模型开发流程的变化。
NVIDIA DSX AI Factory Platform 正被全球企业用于把电网与 AI 工厂作为一套系统统一规划、仿真和运行。GE Vernova、Hitachi Energy、Schneider Electric、Siemens Energy 等厂商基于 DSX Sim、DSX Flex、DSX MaxLPS 等组件推进参考设计与数字孪生。
NVIDIA 展示欧洲零售客户用开放模型和物理智能改造业务:Shopify 后训练 Nemotron 3.5 Lightning 用于 Sidekick 的 GraphQL 子智能体,内部基准上准确率超过领先前沿模型,服务成本降低 90%、响应快 7 倍。
NVIDIA 在 GTC Berlin 展示欧洲机构基于 Earth-2 开放模型的实际应用,并推出面向欧洲短期预报的区域模型 StormScope EU,利用 EUMETSAT 卫星观测以 10 分钟间隔预测 16 个 Meteosat 通道的云况。
OpenAI 与 Google Cloud 合作,将 OpenAI 前沿模型和 Codex 工作流接入 Gemini 的 Model Garden,并通过 Google Cloud Marketplace 提供。原文未披露具体模型版本、上线时间和定价。
推荐理由:OpenAI 前沿模型与 Codex 工作流接入 Google Cloud 的 Gemini Model Garden,读者可了解企业采购渠道的变化。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,在笔记本上每秒证明 720 万至 870 万条 RISC-V 指令。在 15 个基准程序上,它平均比现有最快的同类 zkVM 快 10 至 39 倍,证明验证耗时约 12 毫秒。其安全性仅依赖 SHA-256、SHA-3 等标准哈希函数,无需椭圆曲线、格假设或可信设置。
推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与标准哈希安全之间同时取舍。
GitHub 为密钥扫描训练了专用 ModernBERT 分类器,配合正则候选生成的两阶段流水线,替代此前的 LLM 方案。相比旧 LLM 流水线,告警接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本降低 98% 以上。该效率使通用密钥检测得以扩展到推送保护,在开发者推送前返回结果。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,把 push 保护扩展到无固定格式的非结构化密钥,候选密钥批量评估耗时低于 2 毫秒,可拦截的密钥数量有望翻倍以上。
微软亚洲研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:原文给出框架的代码规模、Kubernetes 运行方式和一次编码智能体训练实验的分数变化,便于判断接入成本。
微软研究院实习生 Rohan Kannan 开发了一套机器学习管线,利用 L1 点太阳风观测和 AE、Dst 指数预报,结合纬度与地质电导率,为美国本土 66,935 座变电站生成 30 至 60 分钟前的局地风险估计。
Berkeley Sky Lab 团队为 K-Search 进化式内核搜索框架新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,让搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。