Modos de entrega y límite operativo
CoreWeave documenta actualmente tres rutas de inferencia: Serverless Inference, Dedicated Inference e inferencia autogestionada en CoreWeave Kubernetes Service (CKS), junto con instancias de GPU en la nube y clústeres acelerados de bare-metal.
Serverless Inference es una ruta gestionada por API sin operación de clúster; Dedicated Inference permite a los clientes elegir pesos del modelo, clase de GPU, runtime y escalado mientras CoreWeave opera el enrutamiento y el ciclo de vida; la inferencia en CKS deja el stack de servicio, la programación y el autoescalado en manos del cliente.
Computraq está en fase de prelanzamiento. Mencionar a este proveedor aquí no significa que Computraq aloje cargas de trabajo en él, haya probado su integración ni tenga una relación comercial con él.
Preparación del comprador y de adquisiciones
Utilice estas preguntas para preparar una evaluación comparable y específica para la carga de trabajo. Los nombres de producto describen la oferta publicada del proveedor; no establecen disponibilidad para una cuenta en particular.
- Elija API serverless, servicio dedicado gestionado o CKS autogestionado según el control del modelo y la responsabilidad sobre la infraestructura; compare explícitamente las obligaciones operativas del cliente.
- Para Dedicated Inference, verifique los requisitos de los artefactos del modelo, la clase de GPU, el runtime compatible, la zona y los controles de escalado; para CKS, delimite las operaciones del clúster y la capacidad reservada/bajo demanda.
- Solicite el compromiso de servicio, el plazo de capacidad, las condiciones de tratamiento de datos, el alcance del soporte y los insumos del costo total en una cotización por escrito.
Evidencia para desarrolladores y operadores
Antes de seleccionar capacidad, cree un plan de aceptación pequeño que registre el modelo y la revisión, la forma de entrada, el runtime, la configuración de GPU, la concurrencia, la latencia objetivo o la finalización del trabajo, y las expectativas de recuperación. La documentación del proveedor es evidencia del diseño del producto, no prueba de que esta carga de trabajo haya sido probada.
- Para la API gestionada, pruebe la compatibilidad de solicitudes, la versión del modelo y los límites de tasa/uso; para Dedicated Inference, fije los pesos del modelo, la clase de GPU y el runtime vLLM o SGLang.
- Pruebe el arranque, la carga del modelo, el autoescalado, el enrutamiento de la puerta de enlace, la latencia y el despliegue del modelo con tamaños de solicitud representativos antes de producción.
- Para CKS, sea responsable y pruebe el stack de servicio, el programador, el autoescalado y la topología multinodo; mida la comunicación de red por separado del cómputo del dispositivo.