정체성 및 접근
게시자 기록은 이 저장소를 moonshotai/Kimi-K2-Instruct(으)로 식별합니다. 현재 공개 스냅샷은 fd1984e2b7a3350dbf7305fe73a4ede25c14de50입니다. 접근은 공개 저장소; 적용 가능한 라이선스 및 게시자 약관을 검토하십시오이며, 기록된 라이선스 라벨은 other입니다. 공개 저장소 또는 게이트 다운로드가 모든 사용에 대한 허가를 의미하지는 않습니다.
구성 정보
고정된 구성은 모델 유형 kimi_k2 및 아키텍처 DeepseekV3ForCausalLM를 보고합니다. 모델 허브는 이를 text-generation로 태그하며, 이러한 라벨은 저장소 메타데이터를 설명할 뿐 벤치마크 성능을 입증하지 않습니다.
- hidden_size: 7168
- intermediate_size: 18432
- max_position_embeddings: 131072
- n_routed_experts: 384
- num_attention_heads: 64
- num_experts_per_tok: 8
- num_hidden_layers: 61
- num_key_value_heads: 64
- quantization_config.quant_method: fp8
- rms_norm_eps: 1e-06
- rope_theta: 50000.0
- torch_dtype: bfloat16
- vocab_size: 163840
- quantization_config.activation_scheme: dynamic
- quantization_config.fmt: e4m3
모델별 특성
이 구성 또는 게시자 메타데이터는 모델을 전문가 혼합(mixture of experts)으로 표시합니다. 서빙 런타임이 라우팅 레이어를 지원하는지 확인하고, 전체 파라미터와 토큰당 활성 파라미터를 구분하십시오. 게시자가 명시적으로 밝히지 않는 한 여기서 활성 수치를 추론하지 않습니다.
이 저장소는 양자화 또는 저정밀도 변형(공개 기록에 명시되지 않음)을 설명하는 것으로 보입니다. 고정된 파일에서 실제 가중치 형식과 런타임 커널을 확인하십시오. 저장 크기만으로는 논리적 파라미터 수나 보장된 GPU 메모리 요구량이 아닙니다.
가중치 메모리 계획
이 가이드는 독립적으로 검증된 논리적 파라미터 수를 보유하지 않으므로 수치적 가중치 메모리 추정을 생략합니다. 이 정확한 저장소 리비전에 대해 수치가 검증되면, 가중치 전용 하한으로 파라미터 수 × 파라미터당 바이트를 사용하고, KV 캐시, 컨텍스트, 활성화, 런타임, 동시성을 별도로 고려하십시오.
리비전 및 재현성
메타데이터와 구성은 리비전 fd1984e2b7a3350dbf7305fe73a4ede25c14de50에 고정되어 있습니다. 평가를 재현할 때 이 커밋을 고정하십시오. 저장소 브랜치는 변경될 수 있으며, 이 소스 검사는 모델 가중치 자체를 검증하지 않습니다.
게시된 기록
- 작업: text-generation
- 모델 유형: kimi_k2
- 아키텍처: DeepseekV3ForCausalLM
- 라이선스 라벨: other
- 접근: 공개 저장소; 적용 가능한 라이선스 및 게시자 약관을 검토하십시오
- 리비전: fd1984e2b7a3350dbf7305fe73a4ede25c14de50