Modes de livraison et périmètre d'exploitation
AWS propose des instances EC2 accélérées utilisant des GPU et des accélérateurs spécialement conçus ; les instances GPU peuvent être combinées avec EKS, Batch et d'autres services AWS. Cette page se concentre sur le calcul au niveau de l'infrastructure plutôt que sur un produit d'inférence unique.
EC2 donne le contrôle des instances et de leur système d'exploitation ; l'orchestration et les services de modèles gérés sont des produits AWS distincts avec leur propre configuration, leurs quotas et leur facturation. Les familles d'instances GPU répondent à des besoins différents en graphisme, entraînement, inférence et HPC.
Computraq est en phase de prélancement. La mention de ce fournisseur ne signifie pas que Computraq y héberge des charges de travail, a testé une intégration avec lui ou entretient une relation commerciale avec lui.
Acheteur et préparation des achats
Utilisez ces questions pour préparer une évaluation comparable et spécifique à la charge de travail. Les noms de produits décrivent l'offre publiée du fournisseur ; ils n'établissent pas la disponibilité pour un compte particulier.
- Sélectionnez la famille d'accélérateurs en fonction du support des frameworks, de la mémoire, de l'interconnexion et du type de charge de travail ; confirmez le quota régional et les conditions à la demande/réservées/spot.
- Cartographiez les services de support tels que le stockage, le réseau, Kubernetes ou l'ordonnancement par lots et incluez leurs coûts et la responsabilité opérationnelle.
- Examinez IAM, les frontières de compte, la localisation des données, la sortie réseau et les conditions contractuelles propres au service pour la charge de travail envisagée.
Preuves pour les développeurs et les opérateurs
Avant de sélectionner la capacité, créez un petit plan d'acceptation qui consigne le modèle et sa révision, la forme des entrées, le runtime, la configuration GPU, la concurrence, la latence cible ou l'achèvement des tâches, ainsi que les attentes de reprise. La documentation du fournisseur atteste de la conception du produit, pas du fait que cette charge de travail a été testée.
- Utilisez les spécifications d'instance actuelles et les Deep Learning AMIs ou images de conteneur compatibles ; vérifiez les versions de pilote/CUDA/framework.
- Pour les charges de travail multi-nœuds, validez le placement, la bande passante réseau, les collectifs, le checkpointing et le comportement de nouvelle tentative.
- Configurez des alertes de budget/d'utilisation et testez la gestion des interruptions lors de l'utilisation de la capacité Spot.