以下の入力項目を準備する
- 固定したモデル/フォーマット、実行環境、ドライバー、カーネルサポート。
- GPUメモリ/インターコネクトのトポロジー、および使用する場合はテンソル並列/エキスパート並列の戦略。
- コンテキスト/同時実行数の範囲と入力モダリティ。
判断と手順
- 容量の算術を試みる前に、アーキテクチャとフォーマットのサポートを確認する。
- ロード、ウォームアップ、プリフィル、生成、飽和を個別に測定する。
- GPUメモリだけでなく、ホストRAM、ストレージ、ネットワークの要件も記録する。
最初の有用な成果物
ピークリソース使用量、サポートされるワークロード、残りの余裕を示す、測定済みの実行プロファイル。
捕捉すべき失敗モード
複数のGPUにまたがるメモリの合計は、自動的に1つの使用可能な割り当てになるわけではない。サポートされていないカーネル、通信オーバーヘッド、ロード時のピークにより、一見十分なシステムでもサービスを実行できない場合がある。
本論文との関係
The Independent Institutionのセクション5を参照。上記の役割と手順は、これらのセクションから導かれる実務的な準備であり、新たに提案される商業的取り決めには、依然として独自の確定した条件が必要である。
Computraqの参加状況
Computraqはプレローンチ段階にある。本ガイドはThe Independent Institutionで提案されている運営モデルを解釈するものであり、現在のホスティング、有償予約、プロバイダー統合、提携、またはサービスの保証を確立するものではない。具体的な貢献を準備するには、論文、元のスライド、関心表明フォームを使用すること。