Modes de livraison et périmètre d'exploitation
GMI Cloud présente une infrastructure GPU-cloud et un Inference Engine pour le service de modèles ; les documents produits publics décrivent des instances/clusters GPU et des services d'inférence à mise à l'échelle automatique.
Une API/un moteur d'inférence abstrait une partie de l'allocation GPU et du service, tandis que les offres d'infrastructure GPU exigent du client qu'il exploite une plus grande partie de l'environnement. Confirmez le service, la version, la capacité, la région et les modèles pris en charge précis à partir de la documentation produit actuelle.
Computraq est en phase de prélancement. La mention de ce fournisseur ne signifie pas que Computraq y héberge des charges de travail, a testé une intégration avec lui ou entretient une relation commerciale avec lui.
Acheteur et préparation des achats
Utilisez ces questions pour préparer une évaluation comparable et spécifique à la charge de travail. Les noms de produits décrivent l'offre publiée du fournisseur ; ils n'établissent pas la disponibilité pour un compte particulier.
- Déterminez si le besoin porte sur une infrastructure GPU, un cluster dédié ou une inférence gérée ; demandez les détails inclus sur l'ordonnanceur, le stockage, le réseau et les niveaux de service.
- Pour l'inférence, confirmez le catalogue/la version des modèles, les limites d'endpoint, le comportement de mise à l'échelle, la confidentialité, la conservation des données et le support.
- Obtenez des conditions écrites de capacité et de tarification pour la configuration GPU et la durée requises ; ne vous fiez pas à des chiffres illustratifs issus de billets de blog.
Preuves pour les développeurs et les opérateurs
Avant de sélectionner la capacité, créez un petit plan d'acceptation qui consigne le modèle et sa révision, la forme des entrées, le runtime, la configuration GPU, la concurrence, la latence cible ou l'achèvement des tâches, ainsi que les attentes de reprise. La documentation du fournisseur atteste de la conception du produit, pas du fait que cette charge de travail a été testée.
- Pour l'infrastructure, testez la visibilité des GPU, les pilotes, l'image de conteneur, la topologie réseau et le stockage persistant.
- Pour l'Inference Engine, testez l'authentification des endpoints, la version du modèle, la concurrence, la mise à l'échelle automatique, le streaming et le comportement en cas d'erreur.
- Consignez les entrées de benchmark, la forme de la charge de travail et les paramètres du modèle afin que les comparaisons futures utilisent les mêmes critères d'acceptation.