Latent Space· Latent Space·· 3 天前精选AI 评分83
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成 230 token/s 等生产数据。
推荐理由
原文把 DeepInfer 的架构取舍、缓存分层与成本测算放在一起，读者可据此判断开源推理栈与闭源服务的差距。
来源：Latent Space · latent.space