제공 모드 및 운영 경계
Nscale은 GPU 클라우드 용량과 관리형 AI 추론을 포함한 AI 인프라 및 AI 서비스를 제시합니다. 해당 추론 자료는 Nscale이 관리하는 GPU에서의 서버리스 또는 전용 추론을 설명합니다.
관리형 추론 엔드포인트는 일부 GPU 운영을 추상화하며, 전용 GPU 인프라는 다른 할당 및 스케일링 책임을 수반합니다. 셀프서비스 VM이 포함되어 있다고 가정하지 말고 정확한 서비스 형태, 오케스트레이션 계층 및 용량 조건을 확인하십시오.
Computraq는 출시 전 단계입니다. 여기서 이 공급자의 이름을 언급한다고 해서 Computraq가 해당 공급자에서 워크로드를 호스팅하거나, 통합을 테스트했거나, 상업적 관계를 맺고 있다는 의미는 아닙니다.
구매자 및 조달 준비
이 질문들을 사용하여 비교 가능한 워크로드별 평가를 준비하십시오. 제품 이름은 공급자가 게시한 제공 내용을 설명할 뿐, 특정 계정에 대한 가용성을 입증하지 않습니다.
- 제공 항목이 관리형 추론 엔드포인트인지, 전용 용량인지, 고객 운영 클러스터인지 문의하고 제어 플레인과 지원 경계를 파악하십시오.
- 용량 수량, 위치, 서비스 수준, 모델/데이터 처리 및 모든 기간 또는 최소 약정에 대한 서면 세부 정보를 요청하십시오.
- 특정 서비스에 대해 스케일링, 관측 가능성, 버전 변경 및 사고 에스컬레이션이 어떻게 작동하는지 명확히 하십시오.
개발자 및 운영자 증거
용량을 선택하기 전에 모델 및 리비전, 입력 형태, 런타임, GPU 구성, 동시성, 목표 지연 시간 또는 작업 완료, 복구 기대치를 기록하는 소규모 승인 계획을 작성하십시오. 공급자 문서는 제품 설계의 증거일 뿐, 이 워크로드가 테스트되었다는 증명이 아닙니다.
- 추론의 경우 모델 아티팩트 세부 정보, 런타임 요구 사항, 트래픽 형태, 지연 시간 목표 및 허용 가능한 콜드 스타트 동작을 기술 검토에 가져오십시오.
- 대표 요청으로 엔드포인트 인증, 속도 제한, 관측 가능성, 동시성, 모델 업데이트 및 롤백을 테스트하십시오.
- 인프라 제공 항목의 경우 워크로드를 이전하기 전에 컨테이너, 네트워킹, 스토리지 및 클러스터 인터페이스에 합의하십시오.