Fireworks AI:選択前に確認すべきこと

Fireworks AIは、ServerlessモデルAPI、専用GPU上のOn-Demand専用デプロイメント、Reserved Capacityを区別しています。また、モデルのトレーニング/ファインチューニングサービスについても文書化しています。ServerlessはモデルAPIへのアクセスです。専用デプロイメントはオートスケーリングを備えたサービング構成を提供します。予約キャパシティはキャパシティのコミットメントを変更します。これらの提供は生のGPU VMではなく、モデル/APIの可用性は、確認なしに特定のバージョンやキャパシティを保証するものではありません。

更新日

Computraq は公開に向けて準備中です。これらのガイドは準備事項と構想を説明するもので、稼働中のサービス、連携、提携を示すものではありません。

提供モードと運用境界

Fireworks AIは、ServerlessモデルAPI、専用GPU上のOn-Demand専用デプロイメント、Reserved Capacityを区別しています。また、モデルのトレーニング/ファインチューニングサービスについても文書化しています。

ServerlessはモデルAPIへのアクセスです。専用デプロイメントはオートスケーリングを備えたサービング構成を提供します。予約キャパシティはキャパシティのコミットメントを変更します。これらの提供は生のGPU VMではなく、モデル/APIの可用性は、確認なしに特定のバージョンやキャパシティを保証するものではありません。

Computraqはプレローンチです。ここでこのプロバイダーを挙げることは、Computraqがその上でワークロードをホストしていること、その統合をテスト済みであること、またはそれと商業関係を有していることを意味するものではありません。

購入者と調達の準備

これらの質問を使用して、比較可能でワークロード固有の評価を準備してください。製品名はプロバイダーが公開している提供内容を表すものであり、特定のアカウントにおける可用性を確立するものではありません。

  • 初期のAPI利用にはServerless、制御されたサービングには専用デプロイメント、文書化されたコミットメントが必要な場合は予約キャパシティを選択してください。
  • 対象アカウントについて、サポートされるモデルとバージョン、リージョン、クォータ、キャパシティ、サービスレベル、データ保持、およびBYOCの範囲を確認してください。
  • サービスコストを見積もるためのモデルトラフィック、トークンサイズ、同時実行数。ベンダーの速度に関する見出しではなく、実測したワークロードを使用してください。

開発者と運用者の証拠

キャパシティを選択する前に、モデルとリビジョン、入力形状、ランタイム、GPU構成、同時実行数、目標レイテンシまたはジョブ完了、および復旧の期待値を記録する小規模な受け入れ計画を作成してください。プロバイダーの文書は製品設計の証拠であり、このワークロードがテスト済みであることの証明ではありません。

  • 文書化されたAPIを使用し、アプリケーション境界で互換性をテストしてください。モデル識別子、出力形式、ツール呼び出し、ストリーミング、エラーセマンティクスを確認してください。
  • 専用デプロイメントでは、コールドスタート、定常状態のレイテンシ、スループット、オートスケーリング、レプリカの動作を測定してください。
  • プロンプトとモデル構成を一緒にバージョン管理し、本番トラフィックを移行する前にシャドウテストまたはA/Bテストを実行してください。

出典と確認