CoreWeave:选择前需要核实什么

CoreWeave 目前记录了三种推理路径:无服务器推理、专用推理,以及在 CoreWeave Kubernetes Service (CKS) 上的自管理推理,此外还有 GPU 云实例和裸金属加速集群。无服务器推理是由 API 管理的路径,无需集群运维;专用推理允许客户选择模型权重、GPU 类别、运行时和扩缩容,而 CoreWeave 负责路由和生命周期;CKS 上的推理则将服务栈、调度和自动扩缩容留给客户。

更新日期

Computraq 正在筹备上线。这些指南介绍准备工作与拟议框架,并不表示服务、集成或合作关系已经上线或成立。

交付模式与运营边界

CoreWeave 目前记录了三种推理路径:无服务器推理、专用推理,以及在 CoreWeave Kubernetes Service (CKS) 上的自管理推理,此外还有 GPU 云实例和裸金属加速集群。

无服务器推理是由 API 管理的路径,无需集群运维;专用推理允许客户选择模型权重、GPU 类别、运行时和扩缩容,而 CoreWeave 负责路由和生命周期;CKS 上的推理则将服务栈、调度和自动扩缩容留给客户。

Computraq 处于预发布阶段。在此提及该提供商并不意味着 Computraq 在其上托管工作负载、已测试其集成,或与其存在商业关系。

买方与采购准备

使用这些问题来准备可比较、针对具体工作负载的评估。产品名称描述的是提供商已发布的 offering;它们并不确立特定账户的可用性。

  • 根据模型控制权和基础设施责任选择无服务器 API、托管专用服务或自管理 CKS;明确比较客户自身的运营职责。
  • 对于专用推理,核实模型工件要求、GPU 类别、支持的运行时、区域和扩缩容控制;对于 CKS,界定集群运维以及预留/按需容量。
  • 要求以书面报价形式提供服务承诺、容量期限、数据处理条款、支持范围和总成本输入项。

开发者与运营者证据

在选择容量之前,制定一个小型验收计划,记录模型及修订版本、输入形状、运行时、GPU 配置、并发数、目标延迟或作业完成情况,以及恢复预期。提供商文档是产品设计的证据,而非此工作负载已经过测试的证明。

  • 对于托管 API,测试请求兼容性、模型版本和速率/用量限制;对于专用推理,固定模型权重、GPU 类别和 vLLM 或 SGLang 运行时。
  • 在生产之前,使用有代表性的请求大小测试启动、模型加载、自动扩缩容、网关路由、延迟和模型发布。
  • 对于 CKS,自行拥有并测试服务栈、调度器、自动扩缩容和多节点拓扑;将网络通信与设备计算分开测量。

来源与核验