Preparar estas entradas
- Arquitectura de atención fijada, capas, cabezas KV y dimensiones de cabeza cuando estén disponibles.
- Distribución de tokens de entrada/salida, secuencias concurrentes y dtype/política de caché.
- Soporte en tiempo de ejecución para ventanas deslizantes, offload o caché cuantizada si se propone.
Decisiones y secuencia
- Probar entradas largas y longitudes de salida realistas, incluida la fase de prefill.
- Medir la memoria máxima y la latencia a medida que aumenta la concurrencia; mantener distintos el límite del modelo y el límite del servicio.
- Documentar los supuestos de persistencia y aislamiento de la caché, especialmente donde se habilita la reutilización de prefijos.
El primer entregable útil
Un envelope de contexto y concurrencia probado con estrategia de caché, límites de solicitudes y comportamiento ante sobrecarga.
Modos de falla que hay que detectar
Un máximo de contexto nominal no es una promesa de que toda solicitud de ese tamaño quepa. No aplicar una fórmula estándar de caché de atención a modelos recurrentes, híbridos o multimodales sin verificar la implementación.
Cómo se deriva del documento
Leer The Independent Institution, secciones 5. El rol y la secuencia anteriores son una preparación práctica derivada de esas secciones; cualquier arreglo comercial propuesto recientemente todavía necesita sus propios términos confirmados.
Estado de participación de Computraq
Computraq está en prelanzamiento. Esta guía interpreta el modelo operativo propuesto en The Independent Institution; no establece alojamiento actual, reserva pagada, integración con proveedores, asociación ni garantía de servicio. Usar el documento, las diapositivas originales y el formulario de expresión de interés para preparar una contribución concreta.