モデルの改訂と再現性:エビデンスを添付したまま保持する

結果を生成したモデル、パッケージ、ランタイムを固定する。本稿では、モデル、ツール、構成に対する重要な変更は、旧来のベンチマーク主張を引き継ぐのではなく、評価すべき新たなバージョンを生み出すものとする。

更新日

Computraq は公開に向けて準備中です。これらのガイドは準備事項と構想を説明するもので、稼働中のサービス、連携、提携を示すものではありません。

以下の入力項目を準備する

  • モデルの改訂、トークナイザー/テンプレート、コード、コンテナのダイジェスト。
  • ランタイム、ドライバー、カーネル、構成、および関連するハードウェアプロファイル。
  • テスト入力、生成設定、および結果/受け入れ記録。

決定事項と順序

  • 可能な場合は不変識別子を使用し、エビデンスマニフェストを保持する。
  • 変更を、出力、権限、実行要件への影響によって分類する。
  • 重要な変更後に関連する受け入れテストを再実行し、以前の適格構成を保持する。

最初の有用な成果物

別の権限を持つチームがサービス条件を再現するのに十分な、バージョンとエビデンスのマニフェスト。

捕捉すべき失敗モード

ブランチ名や移動する latest タグは評価後に変化し得る。モデル名が一致するだけでは、同じサービスであることを立証できない。

本稿との対応関係

The Independent Institution のセクション4、5を参照。上記の役割と順序は、これらのセクションから導かれる実務的な準備である。新たに提案される商業的取り決めには、依然として独自の確定条件が必要である。

Computraq の参加状況

Computraq はプレローンチ段階にある。本ガイドは The Independent Institution で提案された運営モデルを解釈するものであり、現在のホスティング、有償予約、プロバイダー統合、提携、またはサービスの保証を確立するものではない。本稿、オリジナルのスライド、関心表明フォームを用いて、具体的な貢献を準備されたい。

出典と確認