Modos de entrega y límite operativo
Google Cloud proporciona VM de Compute Engine con GPU adjuntas y compatibilidad con GPU en Google Kubernetes Engine; Cloud TPU es una ruta de acelerador separada con sus propios tipos de máquina y pila de software.
Una VM de Compute Engine es infraestructura; GKE gestiona el plano de control de Kubernetes y la orquestación de cargas de trabajo; las TPU no son intercambiables con las GPU NVIDIA y necesitan frameworks y código de carga de trabajo compatibles. La disponibilidad depende de la región, la cuota y el tipo de máquina.
Computraq está en fase de prelanzamiento. Mencionar a este proveedor aquí no significa que Computraq aloje cargas de trabajo en él, haya probado su integración ni tenga una relación comercial con él.
Preparación del comprador y de la adquisición
Utilice estas preguntas para preparar una evaluación comparable y específica para la carga de trabajo. Los nombres de los productos describen la oferta publicada por el proveedor; no establecen la disponibilidad para una cuenta en particular.
- Decida entre VM con GPU, grupos de nodos con GPU de GKE y TPU según la idoneidad del runtime/framework, el modelo de operaciones y la topología distribuida.
- Confirme la cuota y la capacidad del acelerador para la zona exacta, el tipo de máquina, el modelo de reserva, el almacenamiento y la red antes de planificar el despliegue.
- Evalúe la ubicación de los datos, IAM, los controles de VPC, los límites de los servicios administrados y todos los cargos de servicios asociados.
Evidencia para desarrolladores y operadores
Antes de seleccionar capacidad, cree un pequeño plan de aceptación que registre el modelo y la revisión, la forma de entrada, el runtime, la configuración de GPU, la concurrencia, la latencia objetivo o la finalización del trabajo, y las expectativas de recuperación. La documentación del proveedor es evidencia del diseño del producto, no prueba de que esta carga de trabajo haya sido probada.
- Valide CUDA/los controladores NVIDIA para VM con GPU o GKE y utilice las instrucciones actuales de nodo/acelerador; para TPU, valide los supuestos de framework y de topología de TPU.
- Pruebe el escalado automático, el arranque de nodos, la carga de modelos, el checkpointing y la comunicación entre múltiples hosts con trabajos representativos.
- Incluya el almacenamiento persistente y la salida de red en la prueba de despliegue y en la estimación de costos.