CoreWeave: qué verificar antes de elegir

CoreWeave documenta actualmente tres rutas de inferencia: Serverless Inference, Dedicated Inference e inferencia autogestionada en CoreWeave Kubernetes Service (CKS), junto con instancias de GPU en la nube y clústeres acelerados de bare-metal. Serverless Inference es una ruta gestionada por API sin operación de clúster; Dedicated Inference permite a los clientes elegir pesos del modelo, clase de GPU, runtime y escalado mientras CoreWeave opera el enrutamiento y el ciclo de vida; la inferencia en CKS deja el stack de servicio, la programación y el autoescalado en manos del cliente.

Actualizado

Computraq está preparando su lanzamiento. Estas guías explican los preparativos y el marco propuesto; no establecen un servicio activo, una integración ni una colaboración.

Modos de entrega y límite operativo

CoreWeave documenta actualmente tres rutas de inferencia: Serverless Inference, Dedicated Inference e inferencia autogestionada en CoreWeave Kubernetes Service (CKS), junto con instancias de GPU en la nube y clústeres acelerados de bare-metal.

Serverless Inference es una ruta gestionada por API sin operación de clúster; Dedicated Inference permite a los clientes elegir pesos del modelo, clase de GPU, runtime y escalado mientras CoreWeave opera el enrutamiento y el ciclo de vida; la inferencia en CKS deja el stack de servicio, la programación y el autoescalado en manos del cliente.

Computraq está en fase de prelanzamiento. Mencionar a este proveedor aquí no significa que Computraq aloje cargas de trabajo en él, haya probado su integración ni tenga una relación comercial con él.

Preparación del comprador y de adquisiciones

Utilice estas preguntas para preparar una evaluación comparable y específica para la carga de trabajo. Los nombres de producto describen la oferta publicada del proveedor; no establecen disponibilidad para una cuenta en particular.

  • Elija API serverless, servicio dedicado gestionado o CKS autogestionado según el control del modelo y la responsabilidad sobre la infraestructura; compare explícitamente las obligaciones operativas del cliente.
  • Para Dedicated Inference, verifique los requisitos de los artefactos del modelo, la clase de GPU, el runtime compatible, la zona y los controles de escalado; para CKS, delimite las operaciones del clúster y la capacidad reservada/bajo demanda.
  • Solicite el compromiso de servicio, el plazo de capacidad, las condiciones de tratamiento de datos, el alcance del soporte y los insumos del costo total en una cotización por escrito.

Evidencia para desarrolladores y operadores

Antes de seleccionar capacidad, cree un plan de aceptación pequeño que registre el modelo y la revisión, la forma de entrada, el runtime, la configuración de GPU, la concurrencia, la latencia objetivo o la finalización del trabajo, y las expectativas de recuperación. La documentación del proveedor es evidencia del diseño del producto, no prueba de que esta carga de trabajo haya sido probada.

  • Para la API gestionada, pruebe la compatibilidad de solicitudes, la versión del modelo y los límites de tasa/uso; para Dedicated Inference, fije los pesos del modelo, la clase de GPU y el runtime vLLM o SGLang.
  • Pruebe el arranque, la carga del modelo, el autoescalado, el enrutamiento de la puerta de enlace, la latencia y el despliegue del modelo con tamaños de solicitud representativos antes de producción.
  • Para CKS, sea responsable y pruebe el stack de servicio, el programador, el autoescalado y la topología multinodo; mida la comunicación de red por separado del cómputo del dispositivo.

Fuentes y verificación