上下文与 KV 缓存:为实时工作负载做预算

将上下文规划为一项工作负载与缓存策略决策,而不仅仅是模型卡上的最大值。对于注意力模型,缓存的键和值可能随序列长度和并发数增长;架构和缓存策略会改变实际成本。

更新日期

Computraq 正在筹备上线。这些指南介绍准备工作与拟议框架,并不表示服务、集成或合作关系已经上线或成立。

准备这些输入

  • 固定注意力架构、层数、KV 头数和头维度(如可用)。
  • 输入/输出 token 分布、并发序列以及缓存 dtype/策略。
  • 运行时对滑动窗口、卸载或量化缓存的支持(如提出)。

决策与顺序

  • 测试贴近实际的长输入和输出长度,包括预填充阶段。
  • 测量并发增加时的峰值内存和延迟;将模型上限与服务上限区分开。
  • 记录缓存持久化和隔离假设,尤其是在启用前缀复用的情况下。

第一个有用的交付物

一个经过测试的上下文与并发包络,包含缓存策略、请求限制和过载行为。

需要捕捉的失效模式

标称的上下文最大值并不保证该尺寸下的每个请求都能容纳。不要将标准注意力缓存公式套用于循环、混合或多模态模型,除非已检查实现。

这与论文的对应关系

阅读《The Independent Institution》第 5 节。上述角色和顺序是源自这些章节的实用准备;任何新提出的商业安排仍需其自身确认的条款。

Computraq 参与状态

Computraq 处于预发布阶段。本指南解读《The Independent Institution》中提出的运营模式;它不构成当前托管、付费预订、提供商集成、合作伙伴关系或服务保证。请使用论文、原始幻灯片和意向表达表来准备具体的贡献。

来源与核验