Modes de livraison et frontière d'exploitation
Fluidstack documente Kubernetes géré et Slurm géré sur une infrastructure d'IA bare-metal, avec des contrôles de santé et de l'observabilité ; Kubernetes est positionné pour l'entraînement et l'inférence, tandis que Slurm est présenté pour l'entraînement par lots.
Ce sont des offres d'orchestration sur des clusters bare-metal, non interchangeables avec une simple VM GPU ou une API serverless facturée au token. Les fonctionnalités de plan de contrôle géré ne suppriment pas la nécessité de valider la fiabilité et la sécurité au niveau applicatif.
Computraq est en phase de prélancement. La mention de ce fournisseur ne signifie pas que Computraq y héberge des charges de travail, a testé une intégration avec lui ou entretient une relation commerciale avec lui.
Préparation de l'acheteur et des achats
Utilisez ces questions pour préparer une évaluation comparable et spécifique à la charge de travail. Les noms de produits décrivent l'offre publiée du fournisseur ; ils n'établissent pas la disponibilité pour un compte particulier.
- Déterminez si Kubernetes ou Slurm correspond mieux à la charge de travail et aux compétences de l'équipe ; demandez des détails sur la location dédiée, le dimensionnement du cluster, le support, les conditions de capacité et les niveaux de service.
- Confirmez les performances de stockage, la topologie réseau, l'accès au cluster, le comportement des contrôles de santé et les tâches de réparation matérielle dont le fournisseur est responsable.
- Consignez dans le devis l'allocation exacte, les conditions de renouvellement et de résiliation, ainsi que les livrables d'observabilité et de support.
Preuves pour les développeurs et les opérateurs
Avant de sélectionner la capacité, créez un petit plan d'acceptation qui enregistre le modèle et sa révision, la forme des entrées, l'environnement d'exécution, la configuration GPU, la concurrence, la latence cible ou l'achèvement de la tâche, et les attentes de reprise. La documentation du fournisseur est une preuve de conception du produit, pas la preuve que cette charge de travail a été testée.
- Testez l'ordonnancement Kubernetes ou la soumission Slurm avec le conteneur prévu et le flux de travail d'entraînement distribué ou d'inférence.
- Examinez les signaux de santé des nœuds, le comportement en cas de défaillance, la sauvegarde par points de contrôle, la gestion des utilisateurs et les contrôles d'accès avant de charger des jeux de données sensibles.
- Évaluez les performances du chemin complet, du stockage au GPU et entre les nœuds, et pas seulement le calcul au niveau du dispositif.