GMI Cloud:选择前需要核实的事项

GMI Cloud 提供 GPU 云基础设施和用于模型推理的 Inference Engine;公开产品材料描述了 GPU 实例/集群和自动扩缩容推理服务。推理 API/引擎抽象了部分 GPU 分配和推理工作,而 GPU 基础设施 offering 要求客户自行运营更多环境。请从当前产品文档中确认确切的服务、版本、容量、区域和支持的模型。

更新日期

Computraq 正在筹备上线。这些指南介绍准备工作与拟议框架,并不表示服务、集成或合作关系已经上线或成立。

交付模式与运营边界

GMI Cloud 提供 GPU 云基础设施和用于模型推理的 Inference Engine;公开产品材料描述了 GPU 实例/集群和自动扩缩容推理服务。

推理 API/引擎抽象了部分 GPU 分配和推理工作,而 GPU 基础设施 offering 要求客户自行运营更多环境。请从当前产品文档中确认确切的服务、版本、容量、区域和支持的模型。

Computraq 处于预发布阶段。在此提及该提供商并不意味着 Computraq 在其上托管工作负载、已测试其集成,或与其存在商业关系。

买方与采购准备

使用这些问题来准备可比较、针对具体工作负载的评估。产品名称描述的是提供商已发布的 offering;它们并不确立特定账户的可用性。

  • 确定需求是 GPU 基础设施、专用集群还是托管推理;询问所含的调度器、存储、网络和服务级别详情。
  • 对于推理,确认模型目录/版本、端点限制、扩缩容行为、隐私、数据保留和支持。
  • 获取所需 GPU 配置和期限的书面容量与定价条款;不要依赖博客中的示例性数字。

开发者与运营方证据

在选择容量之前,制定一个小型验收计划,记录模型及修订版本、输入形状、运行时、GPU 配置、并发数、目标延迟或作业完成情况,以及恢复预期。提供商文档是产品设计的证据,而非该工作负载已经过测试的证明。

  • 对于基础设施,测试 GPU 可见性、驱动、容器镜像、网络拓扑和持久存储。
  • 对于 Inference Engine,测试端点身份验证、模型版本、并发、自动扩缩容、流式传输和错误行为。
  • 记录基准输入、工作负载形态和模型设置,以便未来的比较使用相同的验收标准。

来源与核验