Modos de entrega y límite operativo
Scaleway ofrece GPU Instances que proporcionan GPUs dedicadas dentro de instancias de cómputo virtuales y Managed Inference/Generative APIs que utilizan infraestructura de GPU dedicada; su nube también tiene productos separados de Kubernetes y serverless.
Una GPU Instance ofrece control directo por SSH/contenedor; Managed Inference proporciona un endpoint de modelo gestionado. Las GPU Instances se pueden asociar a la orquestación por separado, con las correspondientes responsabilidades de nodo y operaciones.
Computraq está en fase de prelanzamiento. Mencionar a este proveedor aquí no significa que Computraq aloje cargas de trabajo en él, haya probado su integración ni tenga una relación comercial con él.
Preparación del comprador y de adquisiciones
Utilice estas preguntas para preparar una evaluación comparable y específica para la carga de trabajo. Los nombres de producto describen la oferta publicada por el proveedor; no establecen disponibilidad para una cuenta en particular.
- Seleccione GPU Instances directas para entornos personalizados o Managed Inference para un modelo/API gestionado; verifique las zonas de disponibilidad y el stock actual para el acelerador elegido.
- Confirme los requisitos de residencia de datos y de red privada según el producto específico, ya que los servicios de inferencia y de cómputo pueden tener controles diferentes.
- Estime los costos de cómputo, almacenamiento, IP pública, red y servicios gestionados a partir de los términos actuales específicos de cada zona.
Evidencia para desarrolladores y operadores
Antes de seleccionar capacidad, cree un pequeño plan de aceptación que registre el modelo y la revisión, la forma de entrada, el runtime, la configuración de GPU, la concurrencia, la latencia objetivo o la finalización del trabajo, y las expectativas de recuperación. La documentación del proveedor es evidencia del diseño del producto, no prueba de que esta carga de trabajo haya sido probada.
- Para instancias, elija una imagen de SO/contenedor de GPU compatible, verifique el driver/runtime, la exposición de SSH y el dimensionamiento del volumen.
- Para Managed Inference, pruebe la interfaz compatible con OpenAI, el catálogo de modelos o el modelo personalizado, el rendimiento, la red y los supuestos de privacidad.
- Si ejecuta nodos de GPU en Kubernetes, incluya el tiempo de aprovisionamiento de instancias y de configuración de nodos en la planificación de capacidad de la carga de trabajo.