Preparar estos insumos
- Distribuciones de longitud de solicitudes, patrones de ráfagas y objetivos de latencia.
- Asignación de GPU, configuración del planificador, secuencias máximas y límites de tokens.
- Una prueba de carga reproducible y un comportamiento de error/tiempo de espera acordado.
Decisiones y secuencia
- Medir el rendimiento y la latencia conjuntamente bajo mezclas representativas de solicitudes.
- Incluir arranque en frío, prefill largo, reintentos y sobrecarga en lugar de probar solo prompts cortos en régimen estable.
- Fijar la concurrencia admitida y la contrapresión al envelope probado; reservar capacidad adicional de forma explícita.
El primer entregable útil
Un informe de prueba de carga y una política de admisión que muestren la concurrencia soportada, la distribución de latencia y el comportamiento en saturación.
Modos de fallo que hay que detectar
Más solicitudes concurrentes pueden mejorar la utilización mientras empeoran la latencia del trabajo aceptado. Una cifra de tokens por segundo sin las condiciones de carga de trabajo y de cola está incompleta.
Cómo se deriva del documento
Leer The Independent Institution, secciones 5. El rol y la secuencia anteriores son una preparación práctica derivada de esas secciones; cualquier nuevo acuerdo comercial propuesto sigue necesitando sus propias condiciones confirmadas.
Estado de participación de Computraq
Computraq está en prelanzamiento. Esta guía interpreta el modelo operativo propuesto en The Independent Institution; no establece el alojamiento actual, la reserva de pago, la integración con proveedores, la asociación ni una garantía de servicio. Utilizar el documento, las diapositivas originales y el formulario de expresión de interés para preparar una contribución concreta.