Identität und Zugang
Der Publisher-Eintrag identifiziert dieses Repository als Qwen/Qwen1.5-MoE-A2.7B. Der aktuelle öffentliche Snapshot ist 1a758c50ecb6350748b9ce0a99d2352fd9fc11c9. Der Zugang ist öffentliches Repository; prüfen Sie die anwendbare Lizenz und die Publisher-Bedingungen; das aufgezeichnete Lizenzlabel ist other. Ein öffentliches Repository oder ein gated Download begründet keine Erlaubnis für jede Nutzung.
Konfigurationsfakten
Die gepinnte Konfiguration gibt Modelltyp qwen2_moe und Architektur Qwen2MoeForCausalLM an. Der Model Hub taggt es für text-generation; diese Labels beschreiben Repository-Metadaten und belegen keine Benchmark-Leistung.
- hidden_size: 2048
- intermediate_size: 5632
- max_position_embeddings: 8192
- num_attention_heads: 16
- num_hidden_layers: 24
- num_key_value_heads: 16
- rms_norm_eps: 1e-06
- rope_theta: 1000000.0
- sliding_window: 32768
- torch_dtype: bfloat16
- vocab_size: 151936
- num_experts_per_tok: 4
- num_experts: 60
Modellspezifische Qualifizierung
Diese Konfiguration oder Publisher-Metadaten kennzeichnen das Modell als Mixture of Experts. Bestätigen Sie, ob die Serving-Laufzeit seine Routing-Schichten unterstützt, und unterscheiden Sie Gesamtparameter von pro Token aktiven Parametern; hier wird keine aktive Anzahl abgeleitet, sofern der Publisher nicht explizit eine angibt.
Gewichtsspeicher-Planung
Dieser Leitfaden enthält keine unabhängig verifizierte logische Parameteranzahl und lässt daher eine numerische Gewichtsspeicher-Schätzung aus. Wenn eine Anzahl für diese exakte Repository-Revision verifiziert wird, verwenden Sie Parameteranzahl × Bytes pro Parameter als Untergrenze für die Gewichte allein; berücksichtigen Sie dann separat KV-Cache, Kontext, Aktivierungen, Laufzeit und Nebenläufigkeit.
Revision und Reproduzierbarkeit
Die Metadaten und die Konfiguration sind auf Revision 1a758c50ecb6350748b9ce0a99d2352fd9fc11c9 gepinnt. Pinnen Sie diesen Commit, wenn Sie eine Evaluierung reproduzieren. Repository-Branches können sich ändern, und diese Quellenprüfung validiert die Modellgewichte selbst nicht.
Veröffentlichter Eintrag
- Task: text-generation
- Modelltyp: qwen2_moe
- Architektur: Qwen2MoeForCausalLM
- Lizenzlabel: other
- Zugang: öffentliches Repository; prüfen Sie die anwendbare Lizenz und die Publisher-Bedingungen
- Revision: 1a758c50ecb6350748b9ce0a99d2352fd9fc11c9