microsoft/Phi-tiny-MoE-instruct

microsoft/Phi-tiny-MoE-instruct ist auf Hugging Face als text-generation-Modell gelistet. Diese Seite dokumentiert den öffentlichen Repository-Snapshot 2fe50e88d0e2a5a132563815686ea0dcc8e252b5; überprüfen Sie die gelistete Revision, Lizenz und Laufzeitunterstützung, bevor Sie es verwenden.

Aktualisiert am

Computraq bereitet den Start vor. Diese Leitfäden erläutern die Vorbereitung und den vorgeschlagenen Rahmen; sie belegen keinen laufenden Dienst, keine Integration und keine Partnerschaft.

Identität und Zugang

Der Publisher-Eintrag identifiziert dieses Repository als microsoft/Phi-tiny-MoE-instruct. Der aktuelle öffentliche Snapshot ist 2fe50e88d0e2a5a132563815686ea0dcc8e252b5. Der Zugang ist öffentliches Repository; prüfen Sie die anwendbare Lizenz und die Publisher-Bedingungen; das aufgezeichnete Lizenzlabel ist mit. Ein öffentliches Repository oder ein gated Download begründet keine Erlaubnis für jede Nutzung.

Konfigurationsfakten

Die gepinnte Konfiguration gibt Modelltyp phimoe und Architektur PhiMoEForCausalLM an. Der Model Hub taggt es für text-generation; diese Labels beschreiben Repository-Metadaten und belegen keine Benchmark-Leistung.

  • head_dim: 128
  • hidden_size: 4096
  • intermediate_size: 448
  • max_position_embeddings: 4096
  • num_attention_heads: 16
  • num_experts_per_tok: 2
  • num_hidden_layers: 32
  • num_key_value_heads: 4
  • num_local_experts: 16
  • rms_norm_eps: 1e-05
  • rope_theta: 10000.0
  • sliding_window: 2047
  • torch_dtype: bfloat16
  • vocab_size: 32064

Modellspezifische Qualifizierung

Diese Konfiguration oder Publisher-Metadaten kennzeichnen das Modell als Mixture of Experts. Bestätigen Sie, ob die Serving-Laufzeit seine Routing-Schichten unterstützt, und unterscheiden Sie Gesamtparameter von pro Token aktiven Parametern; hier wird keine aktive Anzahl abgeleitet, sofern der Publisher nicht explizit eine angibt.

Gewichtsspeicher-Planung

Dieser Leitfaden enthält keine unabhängig verifizierte logische Parameteranzahl und lässt daher eine numerische Gewichtsspeicher-Schätzung aus. Wenn eine Anzahl für diese exakte Repository-Revision verifiziert wird, verwenden Sie Parameteranzahl × Bytes pro Parameter als Untergrenze für die Gewichte allein; berücksichtigen Sie dann separat KV-Cache, Kontext, Aktivierungen, Laufzeit und Nebenläufigkeit.

Revision und Reproduzierbarkeit

Die Metadaten und die Konfiguration sind auf Revision 2fe50e88d0e2a5a132563815686ea0dcc8e252b5 gepinnt. Pinnen Sie diesen Commit, wenn Sie eine Evaluierung reproduzieren. Repository-Branches können sich ändern, und diese Quellenprüfung validiert die Modellgewichte selbst nicht.

Veröffentlichter Eintrag

  • Task: text-generation
  • Modelltyp: phimoe
  • Architektur: PhiMoEForCausalLM
  • Lizenzlabel: mit
  • Zugang: öffentliches Repository; prüfen Sie die anwendbare Lizenz und die Publisher-Bedingungen
  • Revision: 2fe50e88d0e2a5a132563815686ea0dcc8e252b5

Quellen und Prüfung