提供形態と運用境界
GMI CloudはGPUクラウドインフラストラクチャとモデルサービング向けのInference Engineを提供しています。公開製品資料ではGPUインスタンス/クラスタと自動スケール推論サービスが説明されています。
推論API/エンジンはGPU割り当てとサービングの一部を抽象化しますが、GPUインフラストラクチャの提供では顧客が環境のより多くの部分を運用する必要があります。正確なサービス、バージョン、容量、リージョン、サポートされるモデルを現在の製品ドキュメントで確認してください。
Computraqはプレローンチです。ここでこのプロバイダーを挙げることは、Computraqがその上でワークロードをホストしていること、その統合をテスト済みであること、またはそれと商業関係を有していることを意味するものではありません。
購入者と調達の準備
これらの質問を使用して、比較可能なワークロード固有の評価を準備してください。製品名はプロバイダーが公開している提供内容を表すものであり、特定のアカウントでの可用性を確立するものではありません。
- 要件がGPUインフラストラクチャ、専用クラスタ、マネージド推論のいずれであるかを特定してください。含まれるスケジューラ、ストレージ、ネットワーキング、サービスレベルの詳細を確認してください。
- 推論については、モデルカタログ/バージョン、エンドポイント制限、スケーリング動作、プライバシー、データ保持、サポートを確認してください。
- 必要なGPU構成と期間について書面による容量と価格条件を取得してください。例示的なブログの数値に依存しないでください。
開発者と運用者の証拠
容量を選択する前に、モデルとリビジョン、入力形状、ランタイム、GPU構成、同時実行数、目標レイテンシまたはジョブ完了、復旧の期待値を記録する小規模な受け入れ計画を作成してください。プロバイダーのドキュメントは製品設計の証拠であり、このワークロードがテスト済みであることの証明ではありません。
- インフラストラクチャについては、GPUの可視性、ドライバー、コンテナイメージ、ネットワークトポロジ、永続ストレージをテストしてください。
- Inference Engineについては、エンドポイント認証、モデルバージョン、同時実行数、自動スケーリング、ストリーミング、エラー動作をテストしてください。
- ベンチマークの入力、ワークロード形状、モデル設定を記録し、将来の比較が同じ受け入れ基準を使用するようにしてください。