Modes de livraison et périmètre d'exploitation
Google Cloud fournit des VM Compute Engine attachées à des GPU et une prise en charge des GPU dans Google Kubernetes Engine ; Cloud TPU est une voie d'accélérateur distincte avec ses propres types de machines et pile logicielle.
Une VM Compute Engine est une infrastructure ; GKE gère le plan de contrôle Kubernetes et l'orchestration des charges de travail ; les TPU ne sont pas interchangeables avec les GPU NVIDIA et nécessitent des frameworks et du code de charge de travail compatibles. La disponibilité dépend de la région, du quota et du type de machine.
Computraq est en phase de prélancement. La mention de ce fournisseur ne signifie pas que Computraq y héberge des charges de travail, a testé une intégration avec lui ou entretient une relation commerciale avec lui.
Préparation de l'acheteur et des achats
Utilisez ces questions pour préparer une évaluation comparable et spécifique à la charge de travail. Les noms de produits décrivent l'offre publiée du fournisseur ; ils n'établissent pas la disponibilité pour un compte particulier.
- Choisissez entre VM GPU, pools de nœuds GPU GKE et TPU en fonction de l'adéquation runtime/framework, du modèle d'exploitation et de la topologie distribuée.
- Confirmez le quota et la capacité d'accélérateur pour la zone exacte, le type de machine, le modèle de réservation, le stockage et le réseau avant de planifier le déploiement.
- Évaluez l'emplacement des données, IAM, les contrôles VPC, les périmètres des services gérés et tous les frais de services associés.
Preuves pour les développeurs et les opérateurs
Avant de sélectionner la capacité, créez un petit plan d'acceptation qui enregistre le modèle et la révision, la forme des entrées, le runtime, la configuration GPU, la concurrence, la latence cible ou l'achèvement du job, et les attentes de reprise. La documentation du fournisseur est une preuve de conception du produit, pas la preuve que cette charge de travail a été testée.
- Validez les pilotes CUDA/NVIDIA pour les VM GPU ou GKE et utilisez les instructions actuelles relatives aux nœuds/accélérateurs ; pour les TPU, validez les hypothèses de framework et de topologie TPU.
- Testez l'autoscaling, le démarrage des nœuds, le chargement des modèles, le checkpointing et la communication multi-hôte avec des jobs représentatifs.
- Incluez le stockage persistant et l'egress réseau dans le test de déploiement et l'estimation des coûts.