提供形態と運用境界
AWSはGPUと専用設計のアクセラレータを使用するアクセラレータ付きEC2インスタンスを提供しています。GPUインスタンスはEKS、Batch、その他のAWSサービスと組み合わせることができます。このページは単一の推論製品ではなく、インフラストラクチャレベルのコンピュートに焦点を当てています。
EC2はインスタンスとそのオペレーティングシステムの制御を提供します。オーケストレーションとマネージドモデルサービスは、それぞれ別個の構成、クォータ、請求を持つ別個のAWS製品です。GPUインスタンスファミリーは、グラフィックス、トレーニング、推論、HPCの異なるニーズに対応します。
Computraqはプレローンチです。ここでこのプロバイダーを挙げることは、Computraqがその上でワークロードをホストしていること、その統合をテスト済みであること、またはそれと商業関係を有していることを意味するものではありません。
購入者と調達の準備
これらの質問を使用して、比較可能なワークロード固有の評価を準備してください。製品名はプロバイダーが公開している提供内容を表すものであり、特定のアカウントでの可用性を確立するものではありません。
- フレームワークサポート、メモリ、インターコネクト、ワークロードタイプに基づいてアクセラレータファミリーを選択してください。リージョンクォータとオンデマンド/リザーブド/スポットの条件を確認してください。
- ストレージ、ネットワーキング、Kubernetes、バッチスケジューリングなどのサポートサービスをマッピングし、それらのコストと運用上の責任を含めてください。
- 意図するワークロードについて、IAM、アカウント境界、データ所在地、ネットワークエグレス、サービス固有の契約条件を確認してください。
開発者と運用者の証拠
容量を選択する前に、モデルとリビジョン、入力形状、ランタイム、GPU構成、同時実行数、目標レイテンシまたはジョブ完了、復旧の期待値を記録する小規模な受け入れ計画を作成してください。プロバイダーのドキュメントは製品設計の証拠であり、このワークロードがテスト済みであることの証明ではありません。
- 現在のインスタンス仕様と互換性のあるDeep Learning AMIまたはコンテナイメージを使用してください。ドライバー/CUDA/フレームワークのバージョンを確認してください。
- マルチノードワークロードでは、配置、ネットワーク帯域幅、コレクティブ、チェックポイント、リトライ動作を検証してください。
- Spot容量を使用する場合は、予算/使用量アラートを設定し、中断処理をテストしてください。