mistralai/Mixtral-8x7B-Instruct-v0.1

mistralai/Mixtral-8x7B-Instruct-v0.1はHugging Face上で記載なしモデルとして登録されています。本ページは公開リポジトリのスナップショットeba92302a2861cdc0098cc54bc9f17cb2c47eb61を記録したものです。使用前に、記載されたリビジョン、ライセンス、ランタイムサポートを確認してください。

更新日

Computraq は公開に向けて準備中です。これらのガイドは準備事項と構想を説明するもので、稼働中のサービス、連携、提携を示すものではありません。

識別情報とアクセス

公開元のレコードでは、このリポジトリはmistralai/Mixtral-8x7B-Instruct-v0.1として識別されています。現在の公開スナップショットはeba92302a2861cdc0098cc54bc9f17cb2c47eb61です。アクセス条件は次のとおりです。公開リポジトリ。適用されるライセンスと公開元の条件を確認してください。記録されているライセンスラベルはapache-2.0です。公開リポジトリやゲート付きダウンロードは、あらゆる用途に対する許可を意味するものではありません。

設定の事実

固定された設定では、モデルタイプはmixtral、アーキテクチャはMixtralForCausalLMと報告されています。モデルハブでは記載なしとしてタグ付けされています。これらのラベルはリポジトリのメタデータを記述するものであり、ベンチマーク性能を確立するものではありません。

  • hidden_size: 4096
  • intermediate_size: 14336
  • max_position_embeddings: 32768
  • num_attention_heads: 32
  • num_experts_per_tok: 2
  • num_hidden_layers: 32
  • num_key_value_heads: 8
  • num_local_experts: 8
  • rms_norm_eps: 1e-05
  • rope_theta: 1000000.0
  • torch_dtype: bfloat16
  • vocab_size: 32000

モデル固有の補足

この設定または公開元のメタデータは、このモデルをMixture of Experts(MoE)として示しています。サービングランタイムがそのルーティング層をサポートしているかを確認し、総パラメータ数とトークンあたりのアクティブパラメータ数を区別してください。公開元が明示的に記載していない限り、ここでアクティブ数を推測することはありません。

重みメモリの計画

本ガイドは独立に検証された論理パラメータ数を保持していないため、数値による重みメモリの見積もりを省略しています。この正確なリポジトリリビジョンについてパラメータ数が検証された場合は、重みのみの下限としてパラメータ数×パラメータあたりのバイト数を用い、KVキャッシュ、コンテキスト、アクティベーション、ランタイム、同時実行数は別途考慮してください。

リビジョンと再現性

メタデータと設定はリビジョンeba92302a2861cdc0098cc54bc9f17cb2c47eb61に固定されています。評価を再現する際はこのコミットを固定してください。リポジトリのブランチは変更される可能性があり、このソース確認はモデルの重み自体を検証するものではありません。

公開レコード

  • タスク: 記載なし
  • モデルタイプ: mixtral
  • アーキテクチャ: MixtralForCausalLM
  • ライセンスラベル: apache-2.0
  • アクセス: 公開リポジトリ。適用されるライセンスと公開元の条件を確認してください
  • リビジョン: eba92302a2861cdc0098cc54bc9f17cb2c47eb61

出典と確認