Modes de livraison et périmètre d'exploitation
CoreWeave documente actuellement trois voies d'inférence : Serverless Inference, Dedicated Inference et l'inférence autogérée sur CoreWeave Kubernetes Service (CKS), aux côtés d'instances cloud GPU et de clusters accélérés bare-metal.
Serverless Inference est une voie gérée par API sans exploitation de cluster ; Dedicated Inference permet aux clients de choisir les poids du modèle, la classe de GPU, le runtime et la mise à l'échelle tandis que CoreWeave exploite le routage et le cycle de vie ; l'inférence sur CKS laisse la pile de serving, l'ordonnancement et l'autoscaling au client.
Computraq est en phase de prélancement. La mention de ce fournisseur ne signifie pas que Computraq y héberge des charges de travail, a testé une intégration avec lui ou entretient une relation commerciale avec lui.
Préparation de l'acheteur et des achats
Utilisez ces questions pour préparer une évaluation comparable et spécifique à la charge de travail. Les noms de produits décrivent l'offre publiée du fournisseur ; ils n'établissent pas la disponibilité pour un compte particulier.
- Choisissez l'API serverless, le serving dédié géré ou CKS autogéré selon le contrôle du modèle et la responsabilité de l'infrastructure ; comparez explicitement les tâches opérationnelles du client.
- Pour Dedicated Inference, vérifiez les exigences relatives aux artefacts de modèle, la classe de GPU, le runtime pris en charge, la zone et les contrôles de mise à l'échelle ; pour CKS, délimitez les opérations de cluster et la capacité réservée/à la demande.
- Demandez l'engagement de service, la durée de capacité, les conditions de traitement des données, le périmètre de support et les éléments de coût total dans un devis écrit.
Preuves pour les développeurs et les opérateurs
Avant de sélectionner la capacité, créez un petit plan d'acceptation qui consigne le modèle et sa révision, la forme des entrées, le runtime, la configuration GPU, la concurrence, la latence cible ou l'achèvement du job, et les attentes de reprise. La documentation du fournisseur est une preuve de conception du produit, pas la preuve que cette charge de travail a été testée.
- Pour l'API gérée, testez la compatibilité des requêtes, la version du modèle et les limites de débit/d'usage ; pour Dedicated Inference, épinglez les poids du modèle, la classe de GPU et le runtime vLLM ou SGLang.
- Testez le démarrage, le chargement du modèle, l'autoscaling, le routage de passerelle, la latence et le déploiement du modèle avec des tailles de requêtes représentatives avant la production.
- Pour CKS, prenez en charge et testez la pile de serving, l'ordonnanceur, l'autoscaling et la topologie multi-nœuds ; mesurez la communication réseau séparément du calcul sur les dispositifs.