DeepSeek 开源推理框架 DeepInfer,单集群日处理 155 万亿 token
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer,并公布单集群日处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成 230 token/s 等生产数据。
推荐理由:原文把 DeepInfer 的架构取舍、缓存分层与成本测算放在一起,读者可据此判断开源推理栈与闭源服务的差距。
公司与模型
DeepSeek(深度求索)的模型发布、开源权重、技术报告与 API 价格变化。
1 条精选近 30 天 1 条共收录 2 条
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer,并公布单集群日处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成 230 token/s 等生产数据。
推荐理由:原文把 DeepInfer 的架构取舍、缓存分层与成本测算放在一起,读者可据此判断开源推理栈与闭源服务的差距。