Modes de livraison et périmètre d'exploitation
On-Demand Cloud fournit des VM Linux adossées à des GPU ; 1-Click Clusters fournit des clusters GPU multi-nœuds avec des options telles que Managed Kubernetes, Kubernetes préinstallé ou Slurm ; Private Cloud est décrit comme des clusters bare-metal mono-locataires.
Les instances à la demande mono-nœud, les 1-Click Clusters multi-nœuds réservés et le Private Cloud à plus long terme ont des modèles d'allocation, de locataire et d'exploitation différents. Une option Kubernetes gérée gère les composants du cluster, pas l'application ni sa gouvernance des données.
Computraq est en phase de prélancement. La mention de ce fournisseur ne signifie pas que Computraq y héberge des charges de travail, a testé une intégration avec lui ou entretient une relation commerciale avec lui.
Préparation de l'acheteur et des achats
Utilisez ces questions pour préparer une évaluation comparable et spécifique à la charge de travail. Les noms de produits décrivent l'offre publiée du fournisseur ; ils n'établissent pas la disponibilité pour un compte particulier.
- Faites correspondre la forme et la durée de la réservation à la demande d'entraînement ou d'inférence ; vérifiez quels types de GPU et quelles régions sont disponibles au moment du devis, car tous les types ne sont pas proposés partout.
- Demandez si les nœuds de cluster sont dédiés, comment fonctionnent le stockage partagé et l'accès réseau, ce qui se passe à la fin de la réservation et quelles tâches de support sont incluses.
- Pour l'inférence, précisez qui est responsable de la disponibilité de l'API, des mises à jour du runtime du modèle, de la mise à l'échelle, de la surveillance et de la réponse aux incidents.
Preuves pour les développeurs et les opérateurs
Avant de sélectionner la capacité, créez un petit plan d'acceptation qui consigne le modèle et sa révision, la forme des entrées, le runtime, la configuration GPU, la concurrence, la latence cible ou l'achèvement du job, et les attentes de reprise. La documentation du fournisseur est une preuve de conception du produit, pas la preuve que cette charge de travail a été testée.
- Documentez le nombre de GPU et la topologie, le rattachement du stockage, les contrôles SSH/pare-feu et le gestionnaire de charge de travail avant le lancement.
- Pour l'entraînement multi-nœuds, testez NCCL ou d'autres collectifs et la reprise à partir des checkpoints ; pour le serving, mesurez le temps de chargement du modèle et la concurrence en régime permanent.
- Validez la compatibilité ARM avant de choisir des instances basées sur GH200, comme indiqué dans la documentation de Lambda elle-même.