AI 每日快讯

AI 每日快讯

AI 产品、模型、开源工具和官方动态的时间流。保留历史记录,按分类、日期和标签继续筛选。

4729历史快讯
258开源工具
2当前结果
11 月 07 日 昨日快讯
MarkTechPost 官方资讯

MarkTechPost:Buoyant Releases Kinference: An 开源 Inference Control Plane for Kubernetes and vLLM

原文摘要:Buoyant has released Kinference, an Apache 2.0 inference control plane for vLLM on Kubernetes. It adds declarative routing policies, KV-cache-aware load balancing and per-tenant me 来源:MarkTechPost。建议继续查看原文,重点核对它影响的工具入口、成本、风险和真实使用场景。