学習済みモデルを比較

同じデータセットバージョン上のモデルについて、テストセット精度と中央値レイテンシを比較します。

学習済みモデルを比較して、精度と速度のトレードオフを確認します。比較には、同じ Dataset Version に学習済み、またはアップロードされたモデルが含まれます。

比較リクエストは読み取り専用です。評価は開始されません。

Model Comparison には、Workspace での Model Evaluation アクセスが必要です。アクセスがない場合、「Compare」タブにはアップグレードの案内が表示され、比較リクエストはエラーになります。

概要

各モデル行には、そのメトリクス、中央値レイテンシ、フロンティア状態、および除外理由が含まれます。評価のないモデルもレスポンスに残ります。

比較では、各モデルについて最新の完了済み評価を使用します。より古い適格な評価へフォールバックすることはありません。

デフォルトのフロンティアメトリクスは Project の種類によって異なります:

Object Detection と Instance Segmentation: mAP@50:95 (mAP5095).
Semantic Segmentation: mIoU (mIoU).
Classification: F1 (f1).

別の値を使用して availableMetrics 別のメトリクスを比較してください。API の精度値は比率です。CLI ではパーセンテージが表示されます。

レイテンシは、サーバー側の推論時間の中央値をミリ秒で表したものです。前処理と後処理を含みます。ネットワーク時間は含みません。

モデルが少なくとも同等以上に正確で、かつ同等以上に高速で、しかも一方が厳密に優れているものがなければ、そのモデルはパレートフロンティア上にあります。測定値が同一であれば、複数のモデルがフロンティア上に置かれることがあります。フロンティアに含まれることは推奨を意味しません。

Web アプリ

Project サイドバーの「Models」配下にある「Compare」を開きます。「Dataset Version」リストを使ってバージョンを選択します。

このチャートには、サポートされているすべてのメトリクスとレイテンシを持つモデルが含まれます。ポイントを選択すると、そのモデルカードが開きます。

メトリクスセレクターを使って、チャートのメトリクスとフロンティアを変更します。Detection Project には、mAP@50、mAP@50:95、mAP@75、Precision、Recall、F1 を含めることができます。

「Some models need evaluation updates」パネルには、比較結果が不足しているモデルが一覧表示され、各モデルに何が必要かが説明されます。

一度も評価されていないモデルでは、「Run Evaluation」をクリックします。
評価にレイテンシまたは精度メトリクスが欠けている場合は、「Update Evaluation」をクリックします。
実行が失敗した後は、「Retry Evaluation」をクリックします。

パネル内の適格なモデルをすべて評価するには、「Update All」をクリックします。すでにキューに入っている、または実行中の評価は除外されます。

いずれのモデルにも比較結果がない場合、タブにはチャートの代わりに次の手順が表示されます（例: 「Train a Model」「View Training」「Run Evaluations」「Update Evaluations」）。ここでは「Run Evaluations」と「Update Evaluations」が「Update All」の代わりになります。

評価のない NAS 子モデルは、その NAS トレーニングへのリンクが表示されます。既存の評価がある NAS 子モデルは、評価の再試行フローを使用できます。

HTTP API

1 つの Dataset Version の比較を読み取ります。リクエストによって評価が開始または更新されることはありません。

Compare model evaluations

get

Compare models on one Dataset Version. The operation includes models that have no evaluation. It is read-only and does not start evaluations.

認可

Authorizationstring必須

Roboflow API key or OAuth access token.

パスパラメータ

workspacestring必須

Workspace URL slug.

クエリパラメータ

projectstring · 最小: 1必須

Project URL slug.

Example: chess-pieces

versionstring必須

Positive Dataset Version number.

Example: 131Pattern: ^[1-9][0-9]*$

frontierMetricstring · enumオプション

Metric used to calculate the Pareto frontier. The response lists supported choices in availableMetrics.

Example: mAP5095可能な値:

レスポンス

200

Successful response.

application/json

projectstring必須

Project URL slug.

versionstring必須

Dataset Version number.

frontierMetricundefined · enum必須

Metric used to calculate onFrontier. Null when the Project type has no supported default metric.

可能な値:

400

A required parameter is missing, malformed, or unsupported for this comparison.

application/json

401

Authentication is missing or invalid.

application/json

403

The Workspace does not have Model Evaluation access.

application/json

404

The Project or Version is missing or inaccessible. API-key scope failures can also return this status.

application/json

429

The request rate is too high.

application/json

get/{workspace}/model-evals/compare

GET /{workspace}/model-evals/compare?project=text&version=text HTTP/1.1
Host: api.roboflow.com
Authorization: Bearer YOUR_SECRET_TOKEN
Accept: */*

{
  "project": "chess",
  "version": "131",
  "frontierMetric": "mAP5095",
  "availableMetrics": [
    "mAP",
    "mAP5095",
    "mAP75",
    "precision",
    "recall",
    "f1"
  ],
  "models": [
    {
      "modelId": "acme/chess-fast",
      "evaluationId": "eval-fast",
      "metrics": {
        "mAP": 0.84,
        "mAP5095": 0.61,
        "mAP75": 0.68,
        "f1": 0.79,
        "precision": 0.82,
        "recall": 0.76
      },
      "medianLatencyMs": 3,
      "onFrontier": true,
      "exclusionReason": null
    },
    {
      "modelId": "acme/chess-new",
      "evaluationId": null,
      "metrics": {},
      "medianLatencyMs": null,
      "onFrontier": false,
      "exclusionReason": "evaluation_unavailable"
    }
  ]
}

Python SDK

同じ比較レスポンスを取得するには、Python SDK バージョン 1.5.1 以降を使用します:

comparison = workspace.compare_model_evaluations(
    "chess-pieces",
    131,
    frontier_metric="mAP5095",
)

各行の modelId を安定したモデル参照として使用します。フロンティアを再構築するのではなく、サーバーの onFrontier の値を使用します。

CLI

次を使用します roboflow バージョン 1.5.1 以降を使って、Project の Dataset Version を比較します:

roboflow --workspace my-workspace eval compare \
  --project chess-pieces \
  --version 131 \
  --frontier-metric mAP5095

追加で --json を付けると、表示の丸め処理なしで完全なレスポンスを返します。キーには model-eval:read スコープと Project アクセスが必要です。

MCP

次の model_evals_compare ツールを、Project の slug、Version 番号、任意のフロンティアメトリクスとともに呼び出します:

{
  "project_id": "chess-pieces",
  "version_number": 131,
  "frontier_metric": "mAP5095"
}

このツールは現在の Workspace を使用します。返された onFrontier 値を使ってトレードオフを説明してください。このツールはモデルを選択しません。

前へトレーニング済みモデルを評価

次へトレーニング結果を表示

最終更新 9 日前

役に立ちましたか？