交付模式与运营边界
AWS 提供使用 GPU 和专用加速器的加速 EC2 实例;GPU 实例可与 EKS、Batch 及其他 AWS 服务结合使用。本页聚焦基础设施级计算,而非单一推理产品。
EC2 提供对实例及其操作系统的控制;编排和托管模型服务是独立的 AWS 产品,具有单独的配置、配额和计费。GPU 实例系列服务于不同的图形、训练、推理和 HPC 需求。
Computraq 处于预发布阶段。在此提及该提供商并不意味着 Computraq 在其上托管工作负载、已测试其集成,或与其存在商业关系。
买方与采购准备
使用这些问题来准备可比较、针对具体工作负载的评估。产品名称描述的是提供商已发布的 offering;它们并不确立特定账户的可用性。
- 根据框架支持、内存、互连和工作负载类型选择加速器系列;确认区域配额和按需/预留/Spot 条款。
- 梳理存储、网络、Kubernetes 或批处理调度等配套服务,并将其成本与运营归属纳入考虑。
- 针对预期工作负载,审查 IAM、账户边界、数据位置、网络出口和特定服务的合同条款。
开发者与运营方证据
在选择容量之前,制定一个小型验收计划,记录模型及修订版本、输入形状、运行时、GPU 配置、并发数、目标延迟或作业完成情况,以及恢复预期。提供商文档是产品设计的证据,而非该工作负载已经过测试的证明。
- 使用当前实例规格和兼容的 Deep Learning AMI 或容器镜像;检查驱动/CUDA/框架版本。
- 对于多节点工作负载,验证放置、网络带宽、集合通信、检查点和重试行为。
- 设置预算/用量告警,并在使用 Spot 容量时测试中断处理。