Google Cloud:选择前需核实的事项

Google Cloud 提供挂载 GPU 的 Compute Engine VM 以及 Google Kubernetes Engine 中的 GPU 支持;Cloud TPU 是一条独立的加速器路径,具有自己的机器类型和软件栈。Compute Engine VM 是基础设施;GKE 管理 Kubernetes 控制平面/工作负载编排;TPU 不能与 NVIDIA GPU 互换,需要兼容的框架和工作负载代码。可用性取决于区域、配额和机器类型。

更新日期

Computraq 正在筹备上线。这些指南介绍准备工作与拟议框架,并不表示服务、集成或合作关系已经上线或成立。

交付模式与运营边界

Google Cloud 提供挂载 GPU 的 Compute Engine VM 以及 Google Kubernetes Engine 中的 GPU 支持;Cloud TPU 是一条独立的加速器路径,具有自己的机器类型和软件栈。

Compute Engine VM 是基础设施;GKE 管理 Kubernetes 控制平面/工作负载编排;TPU 不能与 NVIDIA GPU 互换,需要兼容的框架和工作负载代码。可用性取决于区域、配额和机器类型。

Computraq 处于预发布阶段。在此提及该提供商并不意味着 Computraq 在其上托管工作负载、已测试其集成,或与其存在商业关系。

买方与采购准备

使用这些问题来准备可比较的、针对特定工作负载的评估。产品名称描述的是提供商已发布的供应内容;它们并不确立特定账户的可用性。

  • 根据运行时/框架适配性、运营模型和分布式拓扑,在 GPU VM、GKE GPU 节点池和 TPU 之间做出决定。
  • 在规划部署之前,确认确切区域、机器类型、预留模型、存储和网络的加速器配额和容量。
  • 评估数据位置、IAM、VPC 控制、管理服务边界以及所有附加服务费用。

开发者与运营者证据

在选择容量之前,创建一个小型验收计划,记录模型和修订版本、输入形状、运行时、GPU 配置、并发数、目标延迟或作业完成情况以及恢复预期。提供商文档是产品设计的证据,而非此工作负载已经过测试的证明。

  • 为 GPU VM 或 GKE 验证 CUDA/NVIDIA 驱动,并使用当前的节点/加速器说明;对于 TPU,验证框架和 TPU 拓扑假设。
  • 使用有代表性的作业测试自动扩缩容、节点启动、模型加载、检查点和多主机通信。
  • 在部署测试和成本估算中包含持久存储和网络出口。

来源与核验