コンテキストとKVキャッシュ:ライブワークロードのための予算

コンテキストは、単なるモデルカードの最大値ではなく、ワークロードとキャッシュポリシーの意思決定として計画する。アテンションモデルでは、キャッシュされたキーとバリューがシーケンス長と同時実行数に応じて増大しうる。アーキテクチャとキャッシュ戦略が実際のコストを変える。

更新日

Computraq は公開に向けて準備中です。これらのガイドは準備事項と構想を説明するもので、稼働中のサービス、連携、提携を示すものではありません。

これらの入力を準備する

  • 固定されたアテンションアーキテクチャ、レイヤー、KVヘッド、ヘッド次元(入手可能な場合)。
  • 入力/出力トークン分布、同時シーケンス、キャッシュのdtype/ポリシー。
  • スライディングウィンドウ、オフロード、または量子化キャッシュを提案する場合のランタイムサポート。

意思決定とシーケンス

  • プリフィルフェーズを含め、現実的な長い入力と出力長をテストする。
  • 同時実行数の増加に伴うピークメモリとレイテンシを測定する。モデル上限とサービス上限は区別しておく。
  • キャッシュの永続性と分離の前提を文書化する。特にプレフィックス再利用が有効な箇所では重要である。

最初の有用な成果物

キャッシュ戦略、リクエスト上限、過負荷時の挙動を備えた、テスト済みのコンテキストと同時実行数のエンベロープ。

捕捉すべき失敗モード

公称のコンテキスト最大値は、そのサイズのすべてのリクエストが収まることを保証するものではない。リカレント、ハイブリッド、マルチモーダルモデルに標準的なアテンションキャッシュの計算式を、実装を確認せずに適用してはならない。

これが論文にどう続くか

The Independent Institution のセクション5を読むこと。上記の役割とシーケンスは、それらのセクションから導かれた実践的な準備である。新たに提案される商業的取り決めには、依然として独自の確認済み条件が必要である。

Computraqの参加状況

Computraqはプレローンチ段階にある。本ガイドは The Independent Institution で提案された運営モデルを解釈するものであり、現在のホスティング、有償予約、プロバイダー統合、パートナーシップ、またはサービスの保証を確立するものではない。論文、オリジナルのスライド、関心表明フォームを用いて、具体的な貢献を準備すること。

出典と確認