交付模式与运营边界
CoreWeave 目前记录了三种推理路径:无服务器推理、专用推理,以及在 CoreWeave Kubernetes Service (CKS) 上的自管理推理,此外还有 GPU 云实例和裸金属加速集群。
无服务器推理是由 API 管理的路径,无需集群运维;专用推理允许客户选择模型权重、GPU 类别、运行时和扩缩容,而 CoreWeave 负责路由和生命周期;CKS 上的推理则将服务栈、调度和自动扩缩容留给客户。
Computraq 处于预发布阶段。在此提及该提供商并不意味着 Computraq 在其上托管工作负载、已测试其集成,或与其存在商业关系。
买方与采购准备
使用这些问题来准备可比较、针对具体工作负载的评估。产品名称描述的是提供商已发布的 offering;它们并不确立特定账户的可用性。
- 根据模型控制权和基础设施责任选择无服务器 API、托管专用服务或自管理 CKS;明确比较客户自身的运营职责。
- 对于专用推理,核实模型工件要求、GPU 类别、支持的运行时、区域和扩缩容控制;对于 CKS,界定集群运维以及预留/按需容量。
- 要求以书面报价形式提供服务承诺、容量期限、数据处理条款、支持范围和总成本输入项。
开发者与运营者证据
在选择容量之前,制定一个小型验收计划,记录模型及修订版本、输入形状、运行时、GPU 配置、并发数、目标延迟或作业完成情况,以及恢复预期。提供商文档是产品设计的证据,而非此工作负载已经过测试的证明。
- 对于托管 API,测试请求兼容性、模型版本和速率/用量限制;对于专用推理,固定模型权重、GPU 类别和 vLLM 或 SGLang 运行时。
- 在生产之前,使用有代表性的请求大小测试启动、模型加载、自动扩缩容、网关路由、延迟和模型发布。
- 对于 CKS,自行拥有并测试服务栈、调度器、自动扩缩容和多节点拓扑;将网络通信与设备计算分开测量。