交付模式与运营边界
GMI Cloud 提供 GPU 云基础设施和用于模型推理的 Inference Engine;公开产品材料描述了 GPU 实例/集群和自动扩缩容推理服务。
推理 API/引擎抽象了部分 GPU 分配和推理工作,而 GPU 基础设施 offering 要求客户自行运营更多环境。请从当前产品文档中确认确切的服务、版本、容量、区域和支持的模型。
Computraq 处于预发布阶段。在此提及该提供商并不意味着 Computraq 在其上托管工作负载、已测试其集成,或与其存在商业关系。
买方与采购准备
使用这些问题来准备可比较、针对具体工作负载的评估。产品名称描述的是提供商已发布的 offering;它们并不确立特定账户的可用性。
- 确定需求是 GPU 基础设施、专用集群还是托管推理;询问所含的调度器、存储、网络和服务级别详情。
- 对于推理,确认模型目录/版本、端点限制、扩缩容行为、隐私、数据保留和支持。
- 获取所需 GPU 配置和期限的书面容量与定价条款;不要依赖博客中的示例性数字。
开发者与运营方证据
在选择容量之前,制定一个小型验收计划,记录模型及修订版本、输入形状、运行时、GPU 配置、并发数、目标延迟或作业完成情况,以及恢复预期。提供商文档是产品设计的证据,而非该工作负载已经过测试的证明。
- 对于基础设施,测试 GPU 可见性、驱动、容器镜像、网络拓扑和持久存储。
- 对于 Inference Engine,测试端点身份验证、模型版本、并发、自动扩缩容、流式传输和错误行为。
- 记录基准输入、工作负载形态和模型设置,以便未来的比较使用相同的验收标准。