Modos de entrega y límite operativo
Hugging Face Inference Endpoints es un servicio gestionado de infraestructura dedicada que despliega modelos del Hub con motores de inferencia compatibles o contenedores personalizados y gestiona el ciclo de vida del endpoint, la monitorización y el escalado automático.
Los Endpoints son despliegues gestionados de servicio de modelos, distintos de la API de inferencia sin servidor y de las VM en la nube sin procesar. El motor seleccionado, el acceso al repositorio de modelos, el hardware, la configuración de escalado y la ubicación en la nube determinan el comportamiento operativo.
Computraq está en fase de prelanzamiento. Mencionar a este proveedor aquí no significa que Computraq aloje cargas de trabajo en él, haya probado su integración ni tenga una relación comercial con él.
Preparación del comprador y de adquisiciones
Utilice estas preguntas para preparar una evaluación comparable y específica para su carga de trabajo. Los nombres de producto describen la oferta publicada por el proveedor; no establecen la disponibilidad para una cuenta concreta.
- Confirme el acceso/licencia del modelo, las necesidades de motor compatible o contenedor personalizado, la nube/hardware seleccionados, la región, el límite de privacidad y la conectividad del endpoint.
- Revise los umbrales de escalado automático y el comportamiento de escalado a cero frente a los objetivos de latencia; pregunte por cuotas, disponibilidad y soporte.
- Para modelos privados, verifique las credenciales del repositorio y los controles de la organización; no asuma que un modelo público del Hub tenga derechos comerciales sin restricciones.
Evidencia para desarrolladores y operadores
Antes de seleccionar capacidad, cree un pequeño plan de aceptación que registre el modelo y la revisión, la forma de entrada, el runtime, la configuración de GPU, la concurrencia, la latencia objetivo o la finalización del trabajo, y las expectativas de recuperación. La documentación del proveedor es evidencia del diseño del producto, no prueba de que esta carga de trabajo haya sido probada.
- Fije la revisión del modelo y la versión del motor de inferencia/contenedor; pruebe el arranque, la preparación, la autenticación y el comportamiento de descarga del modelo.
- Mida el retraso del escalado ascendente, el despertar del escalado a cero, los umbrales de utilización de GPU y la latencia de cola.
- Revise los registros/métricas del endpoint y el tratamiento de datos; ejercite las rutas de fallo, escalado y reversión antes del lanzamiento.