Modos de entrega y límite operativo
AWS ofrece instancias EC2 aceleradas que utilizan GPU y aceleradores diseñados específicamente; las instancias de GPU se pueden combinar con EKS, Batch y otros servicios de AWS. Esta página se centra en la computación a nivel de infraestructura en lugar de un único producto de inferencia.
EC2 brinda control de las instancias y su sistema operativo; la orquestación y los servicios de modelos gestionados son productos de AWS separados con configuración, cuotas y facturación separadas. Las familias de instancias de GPU atienden diferentes necesidades de gráficos, entrenamiento, inferencia y HPC.
Computraq está en fase de prelanzamiento. Mencionar a este proveedor aquí no significa que Computraq aloje cargas de trabajo en él, haya probado su integración ni tenga una relación comercial con él.
Preparación del comprador y de la adquisición
Utilice estas preguntas para preparar una evaluación comparable y específica para la carga de trabajo. Los nombres de los productos describen la oferta publicada del proveedor; no establecen la disponibilidad para una cuenta en particular.
- Seleccione la familia de aceleradores según el soporte del framework, la memoria, la interconexión y el tipo de carga de trabajo; confirme la cuota regional y los términos bajo demanda/reservada/spot.
- Asigne los servicios de apoyo, como almacenamiento, red, Kubernetes o planificación por lotes, e incluya sus costos y la responsabilidad operativa.
- Revise IAM, los límites de la cuenta, la ubicación de los datos, la salida de red y los términos contractuales específicos del servicio para la carga de trabajo prevista.
Evidencia para desarrolladores y operadores
Antes de seleccionar capacidad, cree un plan de aceptación pequeño que registre el modelo y la revisión, la forma de entrada, el entorno de ejecución, la configuración de GPU, la concurrencia, la latencia objetivo o la finalización del trabajo, y las expectativas de recuperación. La documentación del proveedor es evidencia del diseño del producto, no prueba de que esta carga de trabajo haya sido probada.
- Utilice las especificaciones actuales de las instancias y AMI de Deep Learning o imágenes de contenedor compatibles; verifique las versiones de controlador/CUDA/framework.
- Para cargas de trabajo de varios nodos, valide la ubicación, el ancho de banda de red, las colectivas, el checkpointing y el comportamiento de reintento.
- Configure alertas de presupuesto/uso y pruebe el manejo de interrupciones cuando utilice capacidad Spot.