Contexto y caché KV: presupuesto para la carga de trabajo en vivo

Plantear el contexto como una decisión de carga de trabajo y de política de caché, no solo como un máximo de la ficha del modelo. En los modelos de atención, las claves y los valores en caché pueden crecer con la longitud de la secuencia y la concurrencia; la arquitectura y la estrategia de caché cambian el costo real.

Actualizado

Computraq está preparando su lanzamiento. Estas guías explican los preparativos y el marco propuesto; no establecen un servicio activo, una integración ni una colaboración.

Preparar estas entradas

  • Arquitectura de atención fijada, capas, cabezas KV y dimensiones de cabeza cuando estén disponibles.
  • Distribución de tokens de entrada/salida, secuencias concurrentes y dtype/política de caché.
  • Soporte en tiempo de ejecución para ventanas deslizantes, offload o caché cuantizada si se propone.

Decisiones y secuencia

  • Probar entradas largas y longitudes de salida realistas, incluida la fase de prefill.
  • Medir la memoria máxima y la latencia a medida que aumenta la concurrencia; mantener distintos el límite del modelo y el límite del servicio.
  • Documentar los supuestos de persistencia y aislamiento de la caché, especialmente donde se habilita la reutilización de prefijos.

El primer entregable útil

Un envelope de contexto y concurrencia probado con estrategia de caché, límites de solicitudes y comportamiento ante sobrecarga.

Modos de falla que hay que detectar

Un máximo de contexto nominal no es una promesa de que toda solicitud de ese tamaño quepa. No aplicar una fórmula estándar de caché de atención a modelos recurrentes, híbridos o multimodales sin verificar la implementación.

Cómo se deriva del documento

Leer The Independent Institution, secciones 5. El rol y la secuencia anteriores son una preparación práctica derivada de esas secciones; cualquier arreglo comercial propuesto recientemente todavía necesita sus propios términos confirmados.

Estado de participación de Computraq

Computraq está en prelanzamiento. Esta guía interpreta el modelo operativo propuesto en The Independent Institution; no establece alojamiento actual, reserva pagada, integración con proveedores, asociación ni garantía de servicio. Usar el documento, las diapositivas originales y el formulario de expresión de interés para preparar una contribución concreta.

Fuentes y verificación