제공 방식과 운영 경계
AWS는 GPU와 특수 목적 가속기를 사용하는 가속 EC2 인스턴스를 제공하며, GPU 인스턴스는 EKS, Batch 및 기타 AWS 서비스와 결합할 수 있습니다. 이 페이지는 단일 추론 제품이 아니라 인프라 수준 컴퓨팅에 초점을 맞춥니다.
EC2는 인스턴스와 그 운영 체제에 대한 제어를 제공하며, 오케스트레이션과 관리형 모델 서비스는 별도의 구성, 할당량 및 청구를 가진 별도의 AWS 제품입니다. GPU 인스턴스 제품군은 그래픽, 학습, 추론 및 HPC 요구에 각각 대응합니다.
Computraq는 출시 전 단계입니다. 여기서 이 공급자의 이름을 언급한다고 해서 Computraq가 해당 공급자에서 워크로드를 호스팅하거나, 통합을 테스트했거나, 상업적 관계를 맺고 있다는 의미는 아닙니다.
구매자 및 조달 준비
이 질문들을 사용하여 비교 가능한 워크로드별 평가를 준비하십시오. 제품 이름은 제공자가 공개한 제공 내용을 설명할 뿐, 특정 계정에 대한 가용성을 확립하지 않습니다.
- 프레임워크 지원, 메모리, 인터커넥트 및 워크로드 유형을 기준으로 가속기 제품군을 선택하고, 리전 할당량과 온디맨드/예약/스팟 약관을 확인하십시오.
- 스토리지, 네트워킹, Kubernetes 또는 배치 스케줄링과 같은 지원 서비스를 매핑하고 그 비용과 운영 책임을 포함하십시오.
- 의도한 워크로드에 대해 IAM, 계정 경계, 데이터 위치, 네트워크 이그레스 및 서비스별 계약 약관을 검토하십시오.
개발자 및 운영자 증거
용량을 선택하기 전에 모델과 리비전, 입력 형태, 런타임, GPU 구성, 동시성, 목표 지연 시간 또는 작업 완료, 복구 기대치를 기록하는 소규모 인수 계획을 수립하십시오. 제공자 문서는 제품 설계의 증거일 뿐, 이 워크로드가 테스트되었다는 증명은 아닙니다.
- 현재 인스턴스 사양과 호환되는 Deep Learning AMI 또는 컨테이너 이미지를 사용하고, 드라이버/CUDA/프레임워크 버전을 확인하십시오.
- 멀티 노드 워크로드의 경우 배치, 네트워크 대역폭, 집합 통신, 체크포인팅 및 재시도 동작을 검증하십시오.
- 예산/사용량 알림을 설정하고 Spot 용량을 사용할 때 중단 처리를 테스트하십시오.