mistralai/Mixtral-8x22B-Instruct-v0.1

mistralai/Mixtral-8x22B-Instruct-v0.1 figura en Hugging Face como un modelo de no indicado. Esta página registra la instantánea pública del repositorio cc88a6cc19fbd17d9f1c0ee0b0d70a748dce698d; verifique la revisión, la licencia y el soporte de ejecución indicados antes de usarlo.

Actualizado

Computraq está preparando su lanzamiento. Estas guías explican los preparativos y el marco propuesto; no establecen un servicio activo, una integración ni una colaboración.

Identidad y acceso

El registro del publicador identifica este repositorio como mistralai/Mixtral-8x22B-Instruct-v0.1. Su instantánea pública actual es cc88a6cc19fbd17d9f1c0ee0b0d70a748dce698d. El acceso es repositorio público; revise la licencia aplicable y los términos del publicador; la etiqueta de licencia registrada es apache-2.0. Un repositorio público o una descarga con acceso restringido no establece permiso para todos los usos.

Datos de configuración

La configuración fijada indica el tipo de modelo mixtral y la arquitectura MixtralForCausalLM. El hub de modelos lo etiqueta para no indicado; estas etiquetas describen metadatos del repositorio y no establecen el rendimiento en benchmarks.

  • hidden_size: 6144
  • intermediate_size: 16384
  • max_position_embeddings: 65536
  • num_attention_heads: 48
  • num_experts_per_tok: 2
  • num_hidden_layers: 56
  • num_key_value_heads: 8
  • num_local_experts: 8
  • rms_norm_eps: 1e-05
  • rope_theta: 1000000.0
  • torch_dtype: bfloat16
  • vocab_size: 32768

Cualificación específica del modelo

Esta configuración o los metadatos del publicador marcan el modelo como una mezcla de expertos. Confirme si el entorno de ejecución de servicio admite sus capas de enrutamiento y distinga los parámetros totales de los parámetros activos por token; aquí no se infiere ningún recuento de activos a menos que el publicador lo indique explícitamente.

Planificación de memoria de pesos

Esta guía no conserva un recuento lógico de parámetros verificado de forma independiente, por lo que omite una estimación numérica de memoria de pesos. Si se verifica un recuento para esta revisión exacta del repositorio, use el recuento de parámetros × bytes por parámetro para un mínimo solo de pesos; después tenga en cuenta por separado la caché KV, el contexto, las activaciones, el entorno de ejecución y la concurrencia.

Revisión y reproducibilidad

Los metadatos y la configuración están fijados a la revisión cc88a6cc19fbd17d9f1c0ee0b0d70a748dce698d. Fije este commit al reproducir una evaluación. Las ramas del repositorio pueden cambiar, y esta verificación de fuentes no valida los pesos del modelo en sí.

Registro publicado

  • Tarea: no indicado
  • Tipo de modelo: mixtral
  • Arquitectura: MixtralForCausalLM
  • Etiqueta de licencia: apache-2.0
  • Acceso: repositorio público; revise la licencia aplicable y los términos del publicador
  • Revisión: cc88a6cc19fbd17d9f1c0ee0b0d70a748dce698d

Fuentes y verificación