これらの入力を準備する
- 正確なモデルリビジョン、アーキテクチャ、およびパラメータ数の根拠。
- ネイティブまたは提案された量子化形式と、サポートされるランタイム。
- コンテキスト長、同時シーケンス、マルチモーダル入力、およびGPUトポロジ。
決定事項と手順
- 10進GB = パラメータ数 × パラメータあたりのバイト数 / 1,000,000,000 で計算します。GiBの場合は代わりに1,073,741,824を使用します。非圧縮のBF16/FP16を想定する場合は2バイトを使用します。
- 量子化メタデータ、KVキャッシュ、アクティベーション、ランタイム割り当て、および一時的なロードバッファを別々に計上します。
- 容量を確約する前に、提案された構成でロード、プリフィル、生成中のピークメモリを測定します。
最初の有用な成果物
重みの推定値、ランタイム測定値、ワークロードの前提、および安全な運用範囲を分離したメモリ予算。
捕捉すべき失敗モード
圧縮ファイルサイズから論理パラメータを導出したり、MoEのアクティブパラメータ数を全常駐重みを表すかのように乗算したりしないでください。理想的なビット幅の算術は、測定された量子化デプロイではありません。
本稿との関係
The Independent Institutionのセクション5をお読みください。上記の役割と順序は、それらのセクションから導かれた実務的な準備です。新たに提案される商業的取り決めには、依然として独自の確認済み条件が必要です。
Computraqの参加状況
Computraqはプレローンチ段階です。本ガイドはThe Independent Institutionで提案された運用モデルを解釈するものであり、現在のホスティング、有償予約、プロバイダー統合、パートナーシップ、またはサービスの保証を確立するものではありません。具体的な貢献を準備するには、本稿、元のスライド、および関心表明フォームをご利用ください。