以下の入力を準備する
- リクエスト長の分布、バーストパターン、レイテンシ目標。
- GPU割り当て、スケジューラ設定、最大シーケンス数、トークン上限。
- 再現可能な負荷テストと、合意されたエラー/タイムアウトの挙動。
決定事項と順序
- 代表的なリクエストの混合条件下で、スループットとレイテンシを同時に測定する。
- 定常的な短いプロンプトのみをテストするのではなく、コールドスタート、長いプリフィル、リトライ、過負荷を含める。
- テスト済みの範囲に合わせて、受け入れ同時実行数とバックプレッシャーを設定する。追加のキャパシティは明示的に確保する。
最初の有用な成果物
対応可能な同時実行数、レイテンシ分布、飽和時の挙動を示す負荷テストレポートと受け入れポリシー。
捕捉すべき失敗モード
同時リクエスト数を増やすと利用率は向上する一方で、受け入れ済み作業のレイテンシが悪化する可能性があります。ワークロードとキューの条件を伴わない毎秒トークン数の数値は不完全です。
本論文との対応関係
The Independent Institutionのセクション5を参照してください。上記の役割と順序は、これらのセクションから導かれた実務的な準備です。新たに提案される商業的取り決めについては、依然として独自の条件確認が必要です。
Computraqの参加状況
Computraqはプレローンチ段階です。本ガイドはThe Independent Institutionで提案されている運用モデルを解釈したものであり、現在のホスティング、有償予約、プロバイダー統合、パートナーシップ、またはサービスの保証を確立するものではありません。本論文、元のスライド、関心表明フォームを用いて、具体的な貢献を準備してください。