제공 방식과 운영 경계
Vast.ai는 독립 호스트의 GPU 인스턴스 마켓플레이스를 운영하며 온디맨드, 예약 및 중단 가능 임대와 서버리스 엔드포인트를 문서화합니다.
마켓플레이스 목록은 호스트가 제공한 제안을 반영하며 하드웨어, 신뢰성, 위치, 연결성 및 약관이 다를 수 있습니다. 중단 가능 작업은 플랫폼의 입찰 모델에 따라 일시 중지될 수 있으므로 구매자는 호스트 변동성과 중단을 설계 입력으로 취급해야 합니다.
Computraq는 출시 전 단계입니다. 여기서 이 공급자의 이름을 언급한다고 해서 Computraq가 해당 공급자에서 워크로드를 호스팅하거나, 통합을 테스트했거나, 상업적 관계를 맺고 있다는 의미는 아닙니다.
구매자 및 조달 준비
이 질문들을 사용하여 비교 가능한 워크로드별 평가를 준비하십시오. 제품 이름은 공급자가 공개한 제공 항목을 설명하며, 특정 계정에서의 가용성을 확립하지는 않습니다.
- 워크로드를 배치하기 전에 특정 호스트 제안을 비교하고 GPU, 시스템 메모리, 디스크, 네트워크, 위치, 신뢰성 지표, 임대 한도 및 접근 구성을 확인하십시오.
- 중단 가능 용량은 체크포인트가 있거나 재시도 가능한 작업에만 사용하고, 더 안정적인 접근이 필요한 워크로드에는 온디맨드 또는 예약 옵션을 평가하십시오.
- 특정 호스트와 워크로드에 적합한 데이터 최소화 및 보안 검토를 적용하십시오. 마켓플레이스 존재 자체는 규정 준수 증명이 아닙니다.
개발자 및 운영자 증거
용량을 선택하기 전에 모델과 리비전, 입력 형태, 런타임, GPU 구성, 동시성, 목표 지연 시간 또는 작업 완료, 복구 기대치를 기록하는 소규모 승인 계획을 작성하십시오. 공급자 문서는 제품 설계의 증거이지 이 워크로드가 테스트되었다는 증명이 아닙니다.
- 호스트 변동성에 대비하여 구축하십시오. 시작 시 장치와 드라이버를 확인하고, 체크포인트를 인스턴스 외부에 지속 저장하며, 학습 작업을 재시작 가능하게 만드십시오.
- 민감한 자격 증명과 데이터를 분리하고 네트워크 노출, SSH 접근, 스토리지 수명 및 인스턴스 해제를 테스트하십시오.
- Serverless 엔드포인트의 경우 인스턴스 마켓플레이스와 독립적으로 워커 동작과 부하/오류 처리를 테스트하십시오.