准备这些输入
- 固定模型/格式、运行时、驱动和内核支持。
- GPU 内存/互连拓扑以及所用到的张量/专家并行策略。
- 上下文/并发范围与输入模态。
决策与顺序
- 在尝试容量计算之前,先检查架构和格式支持。
- 分别测量加载、预热、预填充、生成和饱和。
- 除 GPU 内存外,还要记录主机 RAM、存储和网络需求。
首个有用的交付成果
一份实测执行概况,显示峰值资源使用、支持的工作负载和剩余余量。
需要捕捉的故障模式
跨多个 GPU 的聚合内存不会自动成为一个可用的分配。不受支持的内核、通信开销或加载时峰值,可能使看似足够的系统无法运行该服务。
这与论文的对应关系
阅读 The Independent Institution 第 5 节。上述角色和顺序是源自这些章节的实用准备工作;任何新提出的商业安排仍需要其自身确认的条款。
Computraq 参与状态
Computraq 处于预发布阶段。本指南解读 The Independent Institution 中提出的运营模式;它并不确立当前的托管、付费预订、提供商集成、合作关系或服务保证。请使用论文、原始幻灯片和意向表达表来准备具体的贡献。