提供モードと運用境界
Modalはサーバーレスコンピュートプラットフォームです。Pythonで定義されたFunctionsはクラウドコンテナ内で実行され、GPUを要求できます。プラットフォームはまた、Webエンドポイント、バッチジョブ、サンドボックスについても文書化しています。
開発者はコードをパッケージ化し、コード内でハードウェアを指定しますが、Modalがコンテナ実行、ルーティング、スケーリングを処理します。この実行抽象化は、長期間稼働するVMやベアメタルクラスタを予約することとは異なります。ランタイム制限と永続状態の設計を確認してください。
Computraqはプレローンチです。ここでこのプロバイダーを挙げることは、Computraqがその上でワークロードをホストしていること、その統合をテスト済みであること、またはそれと商業関係を有していることを意味するものではありません。
購入者と調達の準備
これらの質問を使用して、比較可能でワークロード固有の評価を準備してください。製品名はプロバイダーが公開している提供内容を表すものであり、特定のアカウントにおける可用性を確立するものではありません。
- 関数/ジョブがワークロードの実行時間、状態、起動、同時実行の要件に適合するか評価し、継続的に割り当てられたGPUの必要性を特定してください。
- 提案されたワークロードについて、アカウントの制御、ネットワークエグレス、シークレット、データの場所、保持、サポート条件を確認してください。
- コールドスタートやアイドル時の動作を含め、実測した実行、ストレージ、ネットワーキングのパターンから支出を見積もってください。
開発者と運用者の証拠
キャパシティを選択する前に、モデルとリビジョン、入力形状、ランタイム、GPU構成、同時実行数、目標レイテンシまたはジョブ完了、および復旧の期待値を記録する小規模な受け入れ計画を作成してください。プロバイダーの文書は製品設計の証拠であり、このワークロードがテスト済みであることの証明ではありません。
- イメージ、パッケージ、Python/ランタイムのバージョン、GPU要求をソース内で固定し、コールドスタート、リトライ、スケール・トゥ・ゼロの動作をテストしてください。
- 状態は明示的な永続ストレージに保持し、長時間実行される作業には冪等なジョブまたはチェックポイントを使用してください。
- 本番に近いペイロードを使用してエンドツーエンドのレイテンシと同時実行数を測定し、プライベート依存関係へのアクセスをテストしてください。