身份与访问
发布者记录将本仓库标识为 moonshotai/Kimi-K2-Thinking。其当前公开快照为 a51ccc050d73dab088bf7b0e2dd9b30ae85a4e55。访问方式为 公开仓库;请查阅适用的许可证和发布者条款;记录的许可证标签为 other。公开仓库或受限下载并不构成对每一种用途的许可。
配置事实
固定配置报告模型类型为 kimi_k2,架构为 DeepseekV3ForCausalLM。模型中心将其标记为 text-generation;这些标签描述的是仓库元数据,并不确立基准性能。
- hidden_size: 7168
- intermediate_size: 18432
- max_position_embeddings: 262144
- n_routed_experts: 384
- num_attention_heads: 64
- num_experts_per_tok: 8
- num_hidden_layers: 61
- num_key_value_heads: 64
- quantization_config.config_groups.group_0.weights.group_size: 32
- quantization_config.format: pack-quantized
- quantization_config.quant_method: compressed-tensors
- rms_norm_eps: 1e-05
- rope_theta: 50000.0
- torch_dtype: bfloat16
- vocab_size: 163840
- quantization_config.quantization_status: compressed
模型特定限定
此配置或发布者元数据将该模型标记为专家混合模型。请确认服务运行时是否支持其路由层,并区分总参数与每 token 激活参数;除非发布者明确说明,此处不推断任何激活数量。
此仓库似乎描述了一个量化或降低精度的变体(公开记录中未说明)。请从固定文件中确认实际权重格式和运行时内核;仅凭存储大小既不是逻辑参数数量,也不保证 GPU 内存需求。
权重内存规划
本指南未保留经独立验证的逻辑参数数量,因此省略数值权重内存估算。如果针对此确切仓库修订版本验证了参数数量,请使用参数数量 × 每参数字节数作为仅权重下限;然后单独考虑 KV 缓存、上下文、激活、运行时和并发。
修订版本与可复现性
元数据和配置固定于修订版本 a51ccc050d73dab088bf7b0e2dd9b30ae85a4e55。复现评估时请固定此提交。仓库分支可能变化,且此来源核对不验证模型权重本身。
已发布记录
- 任务:text-generation
- 模型类型:kimi_k2
- 架构:DeepseekV3ForCausalLM
- 许可证标签:other
- 访问方式:公开仓库;请查阅适用的许可证和发布者条款
- 修订版本:a51ccc050d73dab088bf7b0e2dd9b30ae85a4e55