Identité et accès
L'enregistrement de l'éditeur identifie ce dépôt comme poolside/Laguna-S-2.1. Son instantané public actuel est 0f573140834b11cfac0c2af97a101a7a69a13e22. L'accès est dépôt public ; consultez la licence applicable et les conditions de l'éditeur ; le libellé de licence consigné est openmdw-1.1. Un dépôt public ou un téléchargement sous conditions ne confère pas une autorisation pour tous les usages.
Faits de configuration
La configuration épinglée indique le type de modèle laguna et l'architecture LagunaForCausalLM. Le hub de modèles l'étiquette pour text-generation ; ces libellés décrivent les métadonnées du dépôt et n'établissent pas de performance de référence.
- vocab_size: 100352
- hidden_size: 3072
- intermediate_size: 12288
- num_hidden_layers: 48
- num_attention_heads: 48
- num_key_value_heads: 8
- head_dim: 128
- max_position_embeddings: 1048576
- rms_norm_eps: 1e-06
- num_experts: 256
- num_experts_per_tok: 10
- torch_dtype: bfloat16
- sliding_window: 512
- rope_parameters.full_attention.rope_theta: 500000.0
- rope_parameters.sliding_attention.rope_theta: 10000.0
Qualification propre au modèle
Cette configuration ou les métadonnées de l'éditeur marquent le modèle comme un mélange d'experts. Confirmez si le moteur d'exécution prend en charge ses couches de routage, et distinguez les paramètres totaux des paramètres actifs par token ; aucun décompte d'actifs n'est déduit ici, sauf si l'éditeur en déclare un explicitement.
Planification de la mémoire des poids
Ce guide ne retient pas de décompte logique de paramètres vérifié indépendamment, il omet donc une estimation numérique de la mémoire des poids. Si un décompte est vérifié pour cette révision exacte du dépôt, utilisez nombre de paramètres × octets par paramètre pour un plancher des poids seuls ; tenez ensuite compte séparément du cache KV, du contexte, des activations, de l'exécution et de la concurrence.
Révision et reproductibilité
Les métadonnées et la configuration sont épinglées à la révision 0f573140834b11cfac0c2af97a101a7a69a13e22. Épinglez ce commit lors de la reproduction d'une évaluation. Les branches du dépôt peuvent changer, et cette vérification à la source ne valide pas les poids du modèle eux-mêmes.
Enregistrement publié
- Tâche : text-generation
- Type de modèle : laguna
- Architecture : LagunaForCausalLM
- Libellé de licence : openmdw-1.1
- Accès : dépôt public ; consultez la licence applicable et les conditions de l'éditeur
- Révision : 0f573140834b11cfac0c2af97a101a7a69a13e22