Lambda:选择前需要核实什么

On-Demand Cloud 提供由 GPU 支持的 Linux VM;1-Click Clusters 提供多节点 GPU 集群,可选 Managed Kubernetes、预装 Kubernetes 或 Slurm;Private Cloud 被描述为裸金属、单租户集群。单节点按需实例、预留多节点 1-Click Clusters 和较长期 Private Cloud 具有不同的分配、租户和运营模式。托管 Kubernetes 选项管理的是集群组件,而非应用程序或其数据治理。

更新日期

Computraq 正在筹备上线。这些指南介绍准备工作与拟议框架,并不表示服务、集成或合作关系已经上线或成立。

交付模式与运营边界

On-Demand Cloud 提供由 GPU 支持的 Linux VM;1-Click Clusters 提供多节点 GPU 集群,可选 Managed Kubernetes、预装 Kubernetes 或 Slurm;Private Cloud 被描述为裸金属、单租户集群。

单节点按需实例、预留多节点 1-Click Clusters 和较长期 Private Cloud 具有不同的分配、租户和运营模式。托管 Kubernetes 选项管理的是集群组件,而非应用程序或其数据治理。

Computraq 处于预发布阶段。在此提及该提供商并不意味着 Computraq 在其上托管工作负载、已测试其集成,或与其存在商业关系。

买方与采购准备

使用这些问题来准备可比较、针对具体工作负载的评估。产品名称描述的是提供商已发布的 offering;它们并不确立特定账户的可用性。

  • 将预留形态和期限与训练或推理需求相匹配;在报价时检查哪些 GPU 类型和区域可用,因为并非每种类型在所有地方都提供。
  • 询问集群节点是否为专用、共享存储和网络访问如何运作、预留结束时会发生什么,以及包含哪些支持任务。
  • 对于推理,明确谁负责 API 正常运行时间、模型运行时更新、扩缩容、监控和事件响应。

开发者与运营者证据

在选择容量之前,制定一个小型验收计划,记录模型及修订版本、输入形状、运行时、GPU 配置、并发数、目标延迟或作业完成情况,以及恢复预期。提供商文档是产品设计的证据,而非此工作负载已经过测试的证明。

  • 在启动之前记录 GPU 数量和拓扑、存储挂载、SSH/防火墙控制和工作负载管理器。
  • 对于多节点训练,测试 NCCL 或其他集合通信以及检查点恢复;对于服务,测量模型加载时间和稳态并发数。
  • 如 Lambda 自身文档所述,在选择基于 GH200 的实例之前验证 ARM 兼容性。

来源与核验