EXL 解读如何设计可持续的 AI 服务框架(serving harness)
EXL 研究人员在 "Engineering the Harness" 系列中探讨企业 AI 的生产化挑战,指出服务框架(含架构、内存管理、调度与推理优化)比模型选型更决定 AI 能否可靠、经济地规模化交付。文章强调应从工作负载出发确定约束与架构,先测量再优化,并以 KV cache 随并发和上下文增长导致 GPU 显存瓶颈为例说明各环节相互影响。
EXL 研究人员在 "Engineering the Harness" 系列中探讨企业 AI 的生产化挑战,指出服务框架(含架构、内存管理、调度与推理优化)比模型选型更决定 AI 能否可靠、经济地规模化交付。文章强调应从工作负载出发确定约束与架构,先测量再优化,并以 KV cache 随并发和上下文增长导致 GPU 显存瓶颈为例说明各环节相互影响。
Moshi CEO Anekha Sokhal 在 AI Engineer New York 与 swyx 对谈,介绍公司为交易员打造的市场信息推荐引擎,把市场数据、工作界面与个性化推荐结合,她形容这是 Bloomberg、Claude 与 Netflix 的结合体。她回顾了从数学、JPMorgan 能源衍生品交易到创业的路径,并谈到可信信源、文档抽取以及自建还是采购模型的取舍。
Celonis 企业 AI 首席科学家 Devavrat Shah 提出"决策智能",主张 AI 智能体必须理解任务在业务流程中的角色与业务约束,否则会忽略关键限制、造成代价高昂的错误或浪费算力。他建议企业从具体业务决策入手,先找出最困难的环节再测试 AI 能否改进,并以速度与价值增益决定是否扩展。
WD 内部测量显示,一段返回给用户的 3.97MB 720p 8 秒 AI 视频,在后台留下超过 500MB 关联数据,是输出文件体积的 130 倍。WD 委托 IDC 对 763 名 IT 与业务决策者的调查中,近 95% 称过去 12 个月生成式 AI 带来数据量增长,约 61% 增幅达 25% 以上。
Tenex 联合创始人 Alex Lieberman 与 CJ Hess 在 AIE New York 介绍其 AI 原生 SDLC 实践:用 story points 作为工程薪酬的重要组成,并以 MetaHarness 把技能、项目文档和 CLI 与代码一起签入 Git。
HPE 提出企业 AI 应从"每个 token 或 GPU 小时多少钱"转向"每个有用产出的有效成本",即完成可用工作所需的平台、模型、运维与算力总成本。企业可选自建栈、按需消费或集成私有 AI 平台三条路径,HPE Private Cloud AI 将调度、模型选择、GPU 分区和 KV-cache 管理作为效率杠杆,并附 90 天前向部署工程师服务。