학습된 모델 비교

동일한 데이터셋 버전의 모델들에 대해 테스트 세트 정확도와 중앙 지연 시간을 비교하세요.

학습된 모델을 비교하여 정확도와 속도 간의 절충점을 찾아보세요. 비교에는 동일한 Dataset Version에 학습되었거나 업로드된 모델이 포함됩니다.

비교 요청은 읽기 전용입니다. 평가를 시작하지 않습니다.

모델 비교를 사용하려면 Workspace에서 Model Evaluation 액세스가 필요합니다. 액세스가 없으면 "Compare" 탭에 업그레이드 안내가 표시되고 비교 요청은 오류를 반환합니다.

정보

각 모델 행에는 해당 메트릭, 중앙값 지연 시간, 프런티어 상태 및 제외 사유가 포함됩니다. 평가가 없는 모델도 응답에 유지됩니다.

비교는 각 모델의 가장 최근에 완료된 평가를 사용합니다. 더 오래된 적격 평가로 되돌아가지 않습니다.

기본 프런티어 메트릭은 프로젝트 유형에 따라 다릅니다:

객체 탐지 및 인스턴스 분할: mAP@50:95 (mAP5095).
시맨틱 분할: mIoU (mIoU).
분류: F1 (f1).

다른 값을 사용하려면 availableMetrics 에서 다른 메트릭을 비교하세요. API 정확도 값은 비율입니다. CLI는 백분율로 표시합니다.

지연 시간은 서버 측 추론 시간의 중앙값(밀리초)입니다. 전처리와 후처리를 포함하며, 네트워크 시간은 제외합니다.

모델이 최소한 같은 정확도와 속도를 가지며 그중 하나가 더 우수한 모델이 없으면 그 모델은 파레토 프런티어에 있습니다. 동일한 측정값으로 인해 여러 모델이 프런티어에 포함될 수 있습니다. 프런티어 포함 여부는 추천을 의미하지 않습니다.

웹 앱

프로젝트 사이드바의 "Models" 아래에서 "Compare"를 엽니다. "Dataset Version" 목록을 사용하여 버전을 선택합니다.

차트에는 지원되는 모든 메트릭과 지연 시간이 있는 모델이 포함됩니다. 포인트를 선택하여 해당 모델 카드를 여세요.

메트릭 선택기를 사용하여 차트 메트릭과 프런티어를 변경합니다. 탐지 프로젝트에는 mAP@50, mAP@50:95, mAP@75, Precision, Recall, F1을 포함할 수 있습니다.

"Some models need evaluation updates" 패널에는 비교 결과가 누락된 모델이 나열되며 각 모델에 필요한 사항이 설명됩니다.

한 번도 평가되지 않은 모델의 경우 "Run Evaluation"을 클릭하세요.
평가에 지연 시간 또는 정확도 메트릭이 없는 경우 "Update Evaluation"을 클릭하세요.
실행이 실패한 후에는 "Retry Evaluation"을 클릭하세요.

패널에서 자격이 있는 모든 모델을 평가하려면 "Update All"을 클릭하세요. 이미 대기 중이거나 실행 중인 평가는 제외됩니다.

아직 어떤 모델도 비교 결과가 없으면 탭에는 차트 대신 다음 단계가 표시됩니다(예: "Train a Model", "View Training", "Run Evaluations", "Update Evaluations"). 여기서 "Run Evaluations"와 "Update Evaluations"는 "Update All"을 대체합니다.

평가가 없는 NAS 자식은 해당 NAS 학습으로 연결됩니다. 기존 평가가 있는 NAS 자식은 평가 재시도 흐름을 사용할 수 있습니다.

HTTP API

하나의 Dataset Version에 대한 비교를 읽습니다. 요청은 평가를 시작하거나 업데이트하지 않습니다.

Compare model evaluations

get

Compare models on one Dataset Version. The operation includes models that have no evaluation. It is read-only and does not start evaluations.

Authorizations

AuthorizationstringRequired

Roboflow API key or OAuth access token.

Path parameters

workspacestringRequired

Workspace URL slug.

Query parameters

projectstring · min: 1Required

Project URL slug.

Example: chess-pieces

versionstringRequired

Positive Dataset Version number.

Example: 131Pattern: ^[1-9][0-9]*$

frontierMetricstring · enumOptional

Metric used to calculate the Pareto frontier. The response lists supported choices in availableMetrics.

Example: mAP5095Possible values:

Responses

200

Successful response.

application/json

projectstringRequired

Project URL slug.

versionstringRequired

Dataset Version number.

frontierMetricundefined · enumRequired

Metric used to calculate onFrontier. Null when the Project type has no supported default metric.

Possible values:

400

A required parameter is missing, malformed, or unsupported for this comparison.

application/json

401

Authentication is missing or invalid.

application/json

403

The Workspace does not have Model Evaluation access.

application/json

404

The Project or Version is missing or inaccessible. API-key scope failures can also return this status.

application/json

429

The request rate is too high.

application/json

get/{workspace}/model-evals/compare

GET /{workspace}/model-evals/compare?project=text&version=text HTTP/1.1
Host: api.roboflow.com
Authorization: Bearer YOUR_SECRET_TOKEN
Accept: */*

{
  "project": "chess",
  "version": "131",
  "frontierMetric": "mAP5095",
  "availableMetrics": [
    "mAP",
    "mAP5095",
    "mAP75",
    "precision",
    "recall",
    "f1"
  ],
  "models": [
    {
      "modelId": "acme/chess-fast",
      "evaluationId": "eval-fast",
      "metrics": {
        "mAP": 0.84,
        "mAP5095": 0.61,
        "mAP75": 0.68,
        "f1": 0.79,
        "precision": 0.82,
        "recall": 0.76
      },
      "medianLatencyMs": 3,
      "onFrontier": true,
      "exclusionReason": null
    },
    {
      "modelId": "acme/chess-new",
      "evaluationId": null,
      "metrics": {},
      "medianLatencyMs": null,
      "onFrontier": false,
      "exclusionReason": "evaluation_unavailable"
    }
  ]
}

Python SDK

동일한 비교 응답을 얻으려면 Python SDK 버전 1.5.1 이상을 사용하세요:

comparison = workspace.compare_model_evaluations(
    "chess-pieces",
    131,
    frontier_metric="mAP5095",
)

각 행의 modelId 를 안정적인 모델 참조로 사용하세요. 프런티어를 다시 계산하지 말고 서버의 onFrontier 값을 사용하세요.

CLI

사용하세요 roboflow 버전 1.5.1 이상을 사용하여 프로젝트의 Dataset Version을 비교합니다:

roboflow --workspace my-workspace eval compare \
  --project chess-pieces \
  --version 131 \
  --frontier-metric mAP5095

다음을 추가하세요 --json 를 추가하면 표시 반올림 없이 전체 응답을 반환합니다. 키에는 model-eval:read 범위와 프로젝트 액세스가 필요합니다.

MCP

다음을 호출하세요 model_evals_compare 도구를 프로젝트 슬러그, 버전 번호, 그리고 선택적 프런티어 메트릭과 함께 사용하세요:

{
  "project_id": "chess-pieces",
  "version_number": 131,
  "frontier_metric": "mAP5095"
}

이 도구는 현재 Workspace를 사용합니다. 반환된 onFrontier 값을 사용해 절충점을 설명하세요. 이 도구는 모델을 선택하지 않습니다.

이전학습된 모델 평가

다음학습 결과 보기

마지막 업데이트 9일 전

도움이 되었나요?