GPU適合性と実行時オーバーヘッド:実行全体を測定する

正確な実行環境とワークロードを用いてGPU適合性を評価する。重みの保存は需要の一部にすぎず、実行時の割り当て、キャッシュ、アクティベーション、一時バッファ、並列実行によって結果が変わり得る。

更新日

Computraq は公開に向けて準備中です。これらのガイドは準備事項と構想を説明するもので、稼働中のサービス、連携、提携を示すものではありません。

以下の入力項目を準備する

  • 固定したモデル/フォーマット、実行環境、ドライバー、カーネルサポート。
  • GPUメモリ/インターコネクトのトポロジー、および使用する場合はテンソル並列/エキスパート並列の戦略。
  • コンテキスト/同時実行数の範囲と入力モダリティ。

判断と手順

  • 容量の算術を試みる前に、アーキテクチャとフォーマットのサポートを確認する。
  • ロード、ウォームアップ、プリフィル、生成、飽和を個別に測定する。
  • GPUメモリだけでなく、ホストRAM、ストレージ、ネットワークの要件も記録する。

最初の有用な成果物

ピークリソース使用量、サポートされるワークロード、残りの余裕を示す、測定済みの実行プロファイル。

捕捉すべき失敗モード

複数のGPUにまたがるメモリの合計は、自動的に1つの使用可能な割り当てになるわけではない。サポートされていないカーネル、通信オーバーヘッド、ロード時のピークにより、一見十分なシステムでもサービスを実行できない場合がある。

本論文との関係

The Independent Institutionのセクション5を参照。上記の役割と手順は、これらのセクションから導かれる実務的な準備であり、新たに提案される商業的取り決めには、依然として独自の確定した条件が必要である。

Computraqの参加状況

Computraqはプレローンチ段階にある。本ガイドはThe Independent Institutionで提案されている運営モデルを解釈するものであり、現在のホスティング、有償予約、プロバイダー統合、提携、またはサービスの保証を確立するものではない。具体的な貢献を準備するには、論文、元のスライド、関心表明フォームを使用すること。

出典と確認