モデルメモリ計画:スコープを定めた下限値を設定する

信頼できる論理パラメータ数と、指定された数値形式から始めます。重みメモリの計算は下限値の計画入力であり、運用担当者は想定ワークロード下での完全なランタイムを明確化する必要があります。

更新日

Computraq は公開に向けて準備中です。これらのガイドは準備事項と構想を説明するもので、稼働中のサービス、連携、提携を示すものではありません。

これらの入力を準備する

  • 正確なモデルリビジョン、アーキテクチャ、およびパラメータ数の根拠。
  • ネイティブまたは提案された量子化形式と、サポートされるランタイム。
  • コンテキスト長、同時シーケンス、マルチモーダル入力、およびGPUトポロジ。

決定事項と手順

  • 10進GB = パラメータ数 × パラメータあたりのバイト数 / 1,000,000,000 で計算します。GiBの場合は代わりに1,073,741,824を使用します。非圧縮のBF16/FP16を想定する場合は2バイトを使用します。
  • 量子化メタデータ、KVキャッシュ、アクティベーション、ランタイム割り当て、および一時的なロードバッファを別々に計上します。
  • 容量を確約する前に、提案された構成でロード、プリフィル、生成中のピークメモリを測定します。

最初の有用な成果物

重みの推定値、ランタイム測定値、ワークロードの前提、および安全な運用範囲を分離したメモリ予算。

捕捉すべき失敗モード

圧縮ファイルサイズから論理パラメータを導出したり、MoEのアクティブパラメータ数を全常駐重みを表すかのように乗算したりしないでください。理想的なビット幅の算術は、測定された量子化デプロイではありません。

本稿との関係

The Independent Institutionのセクション5をお読みください。上記の役割と順序は、それらのセクションから導かれた実務的な準備です。新たに提案される商業的取り決めには、依然として独自の確認済み条件が必要です。

Computraqの参加状況

Computraqはプレローンチ段階です。本ガイドはThe Independent Institutionで提案された運用モデルを解釈するものであり、現在のホスティング、有償予約、プロバイダー統合、パートナーシップ、またはサービスの保証を確立するものではありません。具体的な貢献を準備するには、本稿、元のスライド、および関心表明フォームをご利用ください。

出典と確認