정체성 및 접근
게시자 기록은 이 저장소를 IlyaGusev/saiga_llama3_8b(으)로 식별합니다. 현재 공개 스냅샷은 5bb9917bdb85340549662ebb62c8e522037ff3f3입니다. 접근은 공개 저장소; 적용 가능한 라이선스 및 게시자 약관을 검토하십시오이며, 기록된 라이선스 라벨은 other입니다. 공개 저장소 또는 게이트 다운로드가 모든 사용에 대한 허가를 의미하지는 않습니다.
구성 정보
고정된 구성은 모델 유형 llama 및 아키텍처 LlamaForCausalLM를 보고합니다. 모델 허브는 이를 text-generation로 태그하며, 이러한 라벨은 저장소 메타데이터를 설명할 뿐 벤치마크 성능을 입증하지 않습니다.
- hidden_size: 4096
- intermediate_size: 14336
- max_position_embeddings: 8192
- num_attention_heads: 32
- num_hidden_layers: 32
- num_key_value_heads: 8
- rms_norm_eps: 1e-05
- rope_theta: 500000.0
- torch_dtype: bfloat16
- vocab_size: 128256
모델별 특성
배포 전에 정확한 토크나이저와 채팅 템플릿, 지원되는 컨텍스트 길이, 서빙 엔진, 출력 형식, 워크로드별 평가를 확인하십시오. 모델 카드와 구성은 아티팩트를 설명할 뿐, 사용 가능한 서비스나 성능 보장을 의미하지 않습니다.
가중치 메모리 계획
이 가이드는 독립적으로 검증된 논리적 파라미터 수를 보유하지 않으므로 수치적 가중치 메모리 추정을 생략합니다. 이 정확한 저장소 리비전에 대해 수치가 검증되면, 가중치 전용 하한으로 파라미터 수 × 파라미터당 바이트를 사용하고, KV 캐시, 컨텍스트, 활성화, 런타임, 동시성을 별도로 고려하십시오.
리비전 및 재현성
메타데이터와 구성은 리비전 5bb9917bdb85340549662ebb62c8e522037ff3f3에 고정되어 있습니다. 평가를 재현할 때 이 커밋을 고정하십시오. 저장소 브랜치는 변경될 수 있으며, 이 소스 검사는 모델 가중치 자체를 검증하지 않습니다.
게시된 기록
- 작업: text-generation
- 모델 유형: llama
- 아키텍처: LlamaForCausalLM
- 라이선스 라벨: other
- 접근: 공개 저장소; 적용 가능한 라이선스 및 게시자 약관을 검토하십시오
- 리비전: 5bb9917bdb85340549662ebb62c8e522037ff3f3