Modos de entrega y límite operativo
On-Demand Cloud proporciona VM Linux con GPU; 1-Click Clusters proporciona clústeres de GPU multinodo con opciones como Managed Kubernetes, Kubernetes preinstalado o Slurm; Private Cloud se describe como clústeres de bare-metal de inquilino único.
Las instancias bajo demanda de un solo nodo, los 1-Click Clusters multinodo reservados y Private Cloud a más largo plazo tienen modelos de asignación, tenencia y operación diferentes. Una opción de Kubernetes gestionado gestiona los componentes del clúster, no la aplicación ni su gobernanza de datos.
Computraq está en fase de prelanzamiento. Mencionar a este proveedor aquí no significa que Computraq aloje cargas de trabajo en él, haya probado su integración ni tenga una relación comercial con él.
Preparación del comprador y de adquisiciones
Utilice estas preguntas para preparar una evaluación comparable y específica para la carga de trabajo. Los nombres de producto describen la oferta publicada del proveedor; no establecen disponibilidad para una cuenta en particular.
- Ajuste la forma y la duración de la reserva a la demanda de entrenamiento o inferencia; compruebe qué tipos de GPU y regiones están disponibles en el momento de la cotización, ya que no todos los tipos se ofrecen en todas partes.
- Pregunte si los nodos del clúster son dedicados, cómo funcionan el almacenamiento compartido y el acceso a la red, qué sucede al finalizar la reserva y qué tareas de soporte están incluidas.
- Para inferencia, aclare quién es responsable del tiempo de actividad de la API, las actualizaciones del runtime del modelo, el escalado, la monitorización y la respuesta ante incidentes.
Evidencia para desarrolladores y operadores
Antes de seleccionar capacidad, cree un plan de aceptación pequeño que registre el modelo y la revisión, la forma de entrada, el runtime, la configuración de GPU, la concurrencia, la latencia objetivo o la finalización del trabajo, y las expectativas de recuperación. La documentación del proveedor es evidencia del diseño del producto, no prueba de que esta carga de trabajo haya sido probada.
- Documente el número y la topología de las GPU, la conexión de almacenamiento, los controles de SSH/firewall y el gestor de cargas de trabajo antes del lanzamiento.
- Para el entrenamiento multinodo, pruebe NCCL u otras colectivas y la recuperación desde puntos de control; para el servicio, mida el tiempo de carga del modelo y la concurrencia en estado estacionario.
- Valide la compatibilidad con ARM antes de elegir instancias basadas en GH200, como se indica en la propia documentación de Lambda.