跳到正文
今天10月24日周六9 条
  1. AWS Machine Learning Blog36

    基于 Strands Agents 的自适应智能体框架 AAIF:用本地 SLM 分流请求降低云端成本

    基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework(AAIF)用 llama3.2:1b 作为编排层,将常规任务交给 Ollama 本地 SLM 处理,复杂请求经 Amazon Bedrock 路由到云端前沿模型。框架分智能编排、本地处理、云端处理三层,可运行在 8 GB 内存的 Raspberry Pi、纯云端或混合部署中。

10月23日周五
  1. MIT Technology Review · AI22

    EXL 解读如何设计可持续的 AI 服务框架(serving harness)

    EXL 研究人员在 "Engineering the Harness" 系列中探讨企业 AI 的生产化挑战,指出服务框架(含架构、内存管理、调度与推理优化)比模型选型更决定 AI 能否可靠、经济地规模化交付。文章强调应从工作负载出发确定约束与架构,先测量再优化,并以 KV cache 随并发和上下文增长导致 GPU 显存瓶颈为例说明各环节相互影响。

  2. AWS Machine Learning Blog48

    Amazon Polly 生成式引擎重大升级:新增 14 种语音、支持印地语和芬兰语

    Amazon Polly 生成式引擎完成升级,新增 14 种语音、覆盖 9 个 locale,并首次在生成式引擎中正式提供印地语和芬兰语。升级后共提供 57 种生成式语音,覆盖 11 种语言、25 个 locale,并扩展至 AWS GovCloud(US-West),合计 11 个 AWS Region。此次为原地升级,语音名称和 API 调用不变,现有应用无需改代码,价格也不变。

  3. AWS Machine Learning Blog34

    在符合 HIPAA 资格的环境中用 Amazon Quick 部署 AI

    Amazon Quick 是符合 HIPAA 资格的服务,其 Web、桌面和移动客户端均适用,可在签署 AWS BAA 后用于处理 PHI。它提供 ACL 感知检索、聊天与反馈日志,以及对每个聊天智能体可执行操作的控制,并支持通过连接器和 MCP 接入外部系统。文章强调 HIPAA 资格不等于合规,用户仍需自行完成数据分类、配置和行政与物理防护措施。

  4. AWS Machine Learning Blog42

    在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音

    该方案将 AI 智能体生成的每个句子即时送入部署在 Amazon SageMaker AI 实时端点上的 Kokoro-82M 语音模型,让语音合成从第一句就开始,而不必等整段回复生成完毕。Kokoro-82M 仅有 8200 万参数,可运行在单台 ml.g5.xlarge GPU 实例上,容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。

  5. Latent Space48

    Modal CEO Erik Bernhardsson 谈 AI 算力为何是矩形:GPU 需求与弹性基础设施经济学

    Modal CEO Erik Bernhardsson 在访谈中解释 AI 算力需求为何呈矩形:固定 GPU 容量合同与真实负载的波动不匹配,Modal 通过聚合数千客户需求、按需弹性分配来化解。Modal 在 $5B C 轮后年化收入突破 $10 亿,并以 $16B 估值完成 $7.5 亿 D 轮,累计启动近 30 亿个 sandbox,sandbox 已占其收入约三分之一。

10月22日周四
  1. NVIDIA Blog60

    NVIDIA 发布 Minerva,为 AI 工厂提供端到端可观测性

    NVIDIA 发布 AIOps 平台 Minerva,汇集基础设施与 AI 工作负载的遥测数据,用专用 AI 模型把数据转化为可执行洞察。Minerva 跨 GPU、网络、存储、调度器和工作负载连接信号,构建动态知识图谱,每小时分析数十亿数据点,可把大量告警聚合成单一事件并给出可能根因。

    推荐理由:原文说明了 Minerva 如何把 GPU、网络与作业信号关联成知识图谱,读者可据此了解 AI 工厂运维的整合思路。

  2. Latent Space22

    Moshi CEO Anekha Sokhal 谈为交易员打造市场信息推荐引擎

    Moshi CEO Anekha Sokhal 在 AI Engineer New York 与 swyx 对谈,介绍公司为交易员打造的市场信息推荐引擎,把市场数据、工作界面与个性化推荐结合,她形容这是 Bloomberg、Claude 与 Netflix 的结合体。她回顾了从数学、JPMorgan 能源衍生品交易到创业的路径,并谈到可信信源、文档抽取以及自建还是采购模型的取舍。

  3. MIT Technology Review · AI18

    Celonis 首席科学家 Devavrat Shah 谈企业 AI 为何需要上下文感知

    Celonis 企业 AI 首席科学家 Devavrat Shah 提出"决策智能",主张 AI 智能体必须理解任务在业务流程中的角色与业务约束,否则会忽略关键限制、造成代价高昂的错误或浪费算力。他建议企业从具体业务决策入手,先找出最困难的环节再测试 AI 能否改进,并以速度与价值增益决定是否扩展。

10月21日周三
  1. OpenAI News62

    OpenAI 模型将上线 Google Cloud 的 Gemini Model Garden

    OpenAI 与 Google Cloud 合作,将 OpenAI 前沿模型和 Codex 工作流接入 Gemini 的 Model Garden,并通过 Google Cloud Marketplace 提供。原文未披露具体模型版本、上线时间和定价。

    推荐理由:OpenAI 前沿模型与 Codex 工作流接入 Google Cloud 的 Gemini Model Garden,读者可了解企业采购渠道的变化。

  2. Latent Space83

    DeepSeek 开源推理框架 DeepInfer,单集群日处理 155 万亿 token

    DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer,并公布单集群日处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成 230 token/s 等生产数据。

    推荐理由:原文把 DeepInfer 的架构取舍、缓存分层与成本测算放在一起,读者可据此判断开源推理栈与闭源服务的差距。

10月20日周二
  1. MIT Technology Review · AI18

    企业 AI 的新经济学:HPE 谈如何衡量 AI 的有效成本

    HPE 提出企业 AI 应从"每个 token 或 GPU 小时多少钱"转向"每个有用产出的有效成本",即完成可用工作所需的平台、模型、运维与算力总成本。企业可选自建栈、按需消费或集成私有 AI 平台三条路径,HPE Private Cloud AI 将调度、模型选择、GPU 分区和 KV-cache 管理作为效率杠杆,并附 90 天前向部署工程师服务。

10月16日周五
  1. Microsoft Research72

    微软研究院推出基于证明的通用计算系统 Magnetar

    微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,在笔记本上每秒证明 720 万至 870 万条 RISC-V 指令。在 15 个基准程序上,它平均比现有最快的同类 zkVM 快 10 至 39 倍,证明验证耗时约 12 毫秒。其安全性仅依赖 SHA-256、SHA-3 等标准哈希函数,无需椭圆曲线、格假设或可信设置。

    推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与标准哈希安全之间同时取舍。

10月14日周三
  1. GitHub Blog · AI & ML40

    GitHub 用 ModernBERT 分类器重构密钥扫描:检出更多、噪音更少

    GitHub 为密钥扫描训练了专用 ModernBERT 分类器,配合正则候选生成的两阶段流水线,替代此前的 LLM 方案。相比旧 LLM 流水线,告警接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本降低 98% 以上。该效率使通用密钥检测得以扩展到推送保护,在开发者推送前返回结果。

10月8日周四
  1. Microsoft Research73

    微软亚洲研究院开源 Agent Lightning v1.0:约 3500 行的轻量智能体强化学习框架

    微软亚洲研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。

    推荐理由:原文给出框架的代码规模、Kubernetes 运行方式和一次编码智能体训练实验的分数变化,便于判断接入成本。

10月1日周四