Identität und Zugang
Der Publisher-Eintrag identifiziert dieses Repository als sarvamai/sarvam-30b. Der aktuelle öffentliche Snapshot ist 2784c524a2f2a08f597adc5530d13ec66079e347. Der Zugang ist öffentliches Repository; prüfen Sie die anwendbare Lizenz und die Publisher-Bedingungen; das aufgezeichnete Lizenzlabel ist apache-2.0. Ein öffentliches Repository oder ein gated Download begründet keine Erlaubnis für jede Nutzung.
Konfigurationsfakten
Die gepinnte Konfiguration gibt Modelltyp sarvam_moe und Architektur SarvamMoEForCausalLM an. Der Model Hub taggt es für text-generation; diese Labels beschreiben Repository-Metadaten und belegen keine Benchmark-Leistung.
- head_dim: 64
- hidden_size: 4096
- intermediate_size: 8192
- max_position_embeddings: 131072
- num_attention_heads: 64
- num_experts: 128
- num_experts_per_tok: 6
- num_hidden_layers: 19
- num_key_value_heads: 4
- rms_norm_eps: 1e-06
- rope_theta: 8000000
- vocab_size: 262144
Modellspezifische Qualifizierung
Diese Konfiguration oder Publisher-Metadaten kennzeichnen das Modell als Mixture of Experts. Bestätigen Sie, ob die Serving-Laufzeit seine Routing-Schichten unterstützt, und unterscheiden Sie Gesamtparameter von pro Token aktiven Parametern; hier wird keine aktive Anzahl abgeleitet, sofern der Publisher nicht explizit eine angibt.
Gewichtsspeicher-Planung
Dieser Leitfaden enthält keine unabhängig verifizierte logische Parameteranzahl und lässt daher eine numerische Gewichtsspeicher-Schätzung aus. Wenn eine Anzahl für diese exakte Repository-Revision verifiziert wird, verwenden Sie Parameteranzahl × Bytes pro Parameter als Untergrenze für die Gewichte allein; berücksichtigen Sie dann separat KV-Cache, Kontext, Aktivierungen, Laufzeit und Nebenläufigkeit.
Revision und Reproduzierbarkeit
Die Metadaten und die Konfiguration sind auf Revision 2784c524a2f2a08f597adc5530d13ec66079e347 gepinnt. Pinnen Sie diesen Commit, wenn Sie eine Evaluierung reproduzieren. Repository-Branches können sich ändern, und diese Quellenprüfung validiert die Modellgewichte selbst nicht.
Veröffentlichter Eintrag
- Task: text-generation
- Modelltyp: sarvam_moe
- Architektur: SarvamMoEForCausalLM
- Lizenzlabel: apache-2.0
- Zugang: öffentliches Repository; prüfen Sie die anwendbare Lizenz und die Publisher-Bedingungen
- Revision: 2784c524a2f2a08f597adc5530d13ec66079e347