提供形態と運用境界
On-Demand CloudはGPU搭載Linux VMを提供します。1-Click Clustersは、Managed Kubernetes、プリインストール済みKubernetes、Slurmなどのオプションを備えたマルチノードGPUクラスターを提供します。Private Cloudはベアメタルのシングルテナントクラスターと説明されています。
シングルノードのオンデマンドインスタンス、予約済みマルチノード1-Click Clusters、長期のPrivate Cloudでは、割り当て、テナンシー、運用モデルが異なります。マネージドKubernetesオプションはクラスターコンポーネントを管理するものであり、アプリケーションやそのデータガバナンスを管理するものではありません。
Computraqはプレローンチです。ここでこのプロバイダーを挙げることは、Computraqがその上でワークロードをホストしていること、その統合をテスト済みであること、またはそれと商業関係を有していることを意味するものではありません。
購入者と調達の準備
これらの質問を使って、比較可能でワークロード固有の評価を準備してください。製品名はプロバイダーが公表している提供内容を表すものであり、特定のアカウントでの可用性を確立するものではありません。
- 予約の形態と期間をトレーニングまたは推論の需要に合わせてください。すべてのGPUタイプがすべての地域で提供されているわけではないため、見積もり時点でどのGPUタイプと地域が利用可能かを確認してください。
- クラスターノードが専用かどうか、共有ストレージとネットワークアクセスがどのように機能するか、予約終了時に何が起こるか、どのサポートタスクが含まれるかを確認してください。
- 推論については、APIの稼働率、モデルランタイムの更新、スケーリング、監視、インシデント対応を誰が担うかを明確にしてください。
開発者と運用者の証拠
容量を選択する前に、モデルとリビジョン、入力形状、ランタイム、GPU構成、同時実行数、目標レイテンシまたはジョブ完了、復旧の期待値を記録する小規模な受け入れ計画を作成してください。プロバイダーの文書は製品設計の証拠であり、このワークロードがテスト済みであることの証明ではありません。
- 起動前に、GPU数とトポロジー、ストレージ接続、SSH/ファイアウォール制御、ワークロードマネージャーを文書化してください。
- マルチノードトレーニングではNCCLなどの集団通信とチェックポイント復旧をテストしてください。サービングでは、モデル読み込み時間と定常状態の同時実行数を測定してください。
- Lambda自身の文書に記載されているとおり、GH200ベースのインスタンスを選択する前にARM互換性を検証してください。