Modes de livraison et frontière d'exploitation
Crusoe sépare les VM GPU/CPU, le stockage et le réseau d'Infrastructure Cloud de l'orchestration Kubernetes gérée (CMK) ou Slurm ; sa documentation décrit également des options Managed AI pour l'inférence serverless, des déploiements d'inférence dédiés en libre-service et le fine-tuning serverless.
Infrastructure Cloud laisse la configuration de la charge de travail au client ; CMK/Slurm gèrent les éléments d'orchestration ; l'inférence Managed AI est une voie de service gérée distincte. Sélectionnez la frontière de service avant de comparer la capacité ou l'effort opérationnel.
Computraq est en phase de prélancement. La mention de ce fournisseur ne signifie pas que Computraq y héberge des charges de travail, a testé une intégration avec lui ou entretient une relation commerciale avec lui.
Préparation de l'acheteur et des achats
Utilisez ces questions pour préparer une évaluation comparable et spécifique à la charge de travail. Les noms de produits décrivent l'offre publiée du fournisseur ; ils n'établissent pas la disponibilité pour un compte particulier.
- Pour Infrastructure Cloud, définissez le nombre de nœuds, l'interconnexion, le stockage et les besoins d'orchestration ; pour Managed AI, définissez le comportement du point de terminaison, le trafic et les frontières de données.
- Demandez directement dans un devis les conditions actuelles de localisation, de capacité d'accélérateur, de réservation, de support, de niveau de service et de facturation.
- Déterminez qui contrôle les artefacts de modèle, les modifications d'exécution, les journaux et les décisions de mise à l'échelle pour le service choisi.
Preuves pour les développeurs et les opérateurs
Avant de sélectionner la capacité, créez un petit plan d'acceptation qui enregistre le modèle et sa révision, la forme des entrées, l'environnement d'exécution, la configuration GPU, la concurrence, la latence cible ou l'achèvement de la tâche, et les attentes de reprise. La documentation du fournisseur est une preuve de conception du produit, pas la preuve que cette charge de travail a été testée.
- La documentation d'Infrastructure Cloud fournit des blocs de construction pour les VM et l'orchestration ; vérifiez la compatibilité des pilotes et de l'environnement d'exécution ainsi que le comportement réseau avec votre propre conteneur.
- Pour CMK ou Slurm, testez l'enregistrement des nœuds, la soumission des tâches, les montages de stockage, la gestion des défaillances et la communication multi-nœuds.
- Pour l'inférence gérée, testez le démarrage à froid du point de terminaison, le débit, les limites de requêtes, le déploiement des versions de modèle et le retour arrière.