प्रशिक्षित मॉडलों की तुलना करें

एक ही डेटासेट संस्करण पर मॉडलों के लिए टेस्ट-सेट सटीकता और मध्यिका लेटेंसी की तुलना करें।

सटीकता और गति के बीच समझौते खोजने के लिए प्रशिक्षित मॉडल्स की तुलना करें। तुलना में वे मॉडल शामिल हैं जो उसी डेटासेट संस्करण पर प्रशिक्षित किए गए हैं या वहीं अपलोड किए गए हैं।

तुलना अनुरोध केवल-पढ़ने योग्य होते हैं। वे मूल्यांकन शुरू नहीं करते।

मॉडल तुलना के लिए आपके वर्कस्पेस में Model Evaluation एक्सेस आवश्यक है। एक्सेस के बिना, "Compare" टैब एक अपग्रेड प्रॉम्प्ट दिखाता है और तुलना अनुरोध एक त्रुटि लौटाते हैं।

के बारे में

प्रत्येक मॉडल पंक्ति में उसके मेट्रिक्स, माध्य विलंब, फ्रंटियर स्थिति, और बहिष्करण का कारण शामिल होता है। बिना मूल्यांकन वाले मॉडल प्रतिक्रिया में बने रहते हैं।

तुलना प्रत्येक मॉडल के लिए नवीनतम पूर्ण मूल्यांकन का उपयोग करती है। यह किसी पुराने पात्र मूल्यांकन पर वापस नहीं जाती।

डिफ़ॉल्ट फ्रंटियर मेट्रिक प्रोजेक्ट के प्रकार पर निर्भर करता है:

ऑब्जेक्ट डिटेक्शन और इंस्टेंस सेगमेंटेशन: mAP@50:95 (mAP5095).
सिमेंटिक सेगमेंटेशन: mIoU (mIoU).
क्लासिफिकेशन: F1 (f1).

किसी अन्य मान का उपयोग करें availableMetrics किसी अलग मेट्रिक की तुलना करने के लिए। API सटीकता मान अनुपात होते हैं। CLI प्रतिशत दिखाता है।

विलंब मिलीसेकंड में सर्वर-साइड इन्फ़रेंस समय का माध्य है। इसमें पूर्व-प्रसंस्करण और पश्च-प्रसंस्करण शामिल हैं। इसमें नेटवर्क समय शामिल नहीं है।

यदि कोई भी मॉडल कम से कम उतना सटीक और उतना तेज़ नहीं है, और एक कठोर सुधार मौजूद है, तो मॉडल पैरेटो फ्रंटियर पर होता है। समान माप कई मॉडलों को फ्रंटियर पर रख सकते हैं। फ्रंटियर में शामिल होना कोई अनुशंसा नहीं है।

वेब ऐप

प्रोजेक्ट साइडबार में "Models" के अंतर्गत "Compare" खोलें। कोई संस्करण चुनने के लिए "Dataset Version" सूची का उपयोग करें।

चार्ट में वे मॉडल शामिल हैं जिनके पास सभी समर्थित मेट्रिक्स और विलंब है। उसके मॉडल कार्ड को खोलने के लिए किसी बिंदु का चयन करें।

चार्ट मेट्रिक और फ्रंटियर बदलने के लिए मेट्रिक चयनकर्ता का उपयोग करें। डिटेक्शन प्रोजेक्ट्स में mAP@50, mAP@50:95, mAP@75, Precision, Recall, और F1 शामिल हो सकते हैं।

"Some models need evaluation updates" पैनल में वे मॉडल सूचीबद्ध होते हैं जिनके तुलना परिणाम गायब हैं और यह समझाया जाता है कि प्रत्येक मॉडल को क्या चाहिए।

उस मॉडल के लिए "Run Evaluation" पर क्लिक करें जिसका कभी मूल्यांकन नहीं हुआ है।
जब किसी मूल्यांकन में विलंब या सटीकता मेट्रिक न हो, तब "Update Evaluation" पर क्लिक करें।
असफल रन के बाद "Retry Evaluation" पर क्लिक करें।

पैनल में सभी पात्र मॉडलों का मूल्यांकन करने के लिए "Update All" पर क्लिक करें। पहले से कतार में या चल रहे मूल्यांकन शामिल नहीं किए जाते।

किसी भी मॉडल के तुलना परिणाम आने से पहले, टैब चार्ट के बजाय अगला चरण दिखाता है (उदा.: "Train a Model", "View Training", "Run Evaluations", "Update Evaluations")। वहाँ "Run Evaluations" और "Update Evaluations" "Update All" की जगह लेते हैं।

बिना मूल्यांकन वाला NAS चाइल्ड अपने NAS प्रशिक्षण से लिंक होता है। मौजूदा मूल्यांकन वाला NAS चाइल्ड मूल्यांकन रीट्राई फ़्लो का उपयोग कर सकता है।

HTTP API

एक डेटासेट संस्करण के लिए तुलना पढ़ें। अनुरोध मूल्यांकन शुरू या अपडेट नहीं करते।

Compare model evaluations

get

Compare models on one Dataset Version. The operation includes models that have no evaluation. It is read-only and does not start evaluations.

Authorizations

AuthorizationstringRequired

Roboflow API key or OAuth access token.

Path parameters

workspacestringRequired

Workspace URL slug.

Query parameters

projectstring · min: 1Required

Project URL slug.

Example: chess-pieces

versionstringRequired

Positive Dataset Version number.

Example: 131Pattern: ^[1-9][0-9]*$

frontierMetricstring · enumOptional

Metric used to calculate the Pareto frontier. The response lists supported choices in availableMetrics.

Example: mAP5095Possible values:

Responses

200

Successful response.

application/json

projectstringRequired

Project URL slug.

versionstringRequired

Dataset Version number.

frontierMetricundefined · enumRequired

Metric used to calculate onFrontier. Null when the Project type has no supported default metric.

Possible values:

400

A required parameter is missing, malformed, or unsupported for this comparison.

application/json

401

Authentication is missing or invalid.

application/json

403

The Workspace does not have Model Evaluation access.

application/json

404

The Project or Version is missing or inaccessible. API-key scope failures can also return this status.

application/json

429

The request rate is too high.

application/json

get/{workspace}/model-evals/compare

GET /{workspace}/model-evals/compare?project=text&version=text HTTP/1.1
Host: api.roboflow.com
Authorization: Bearer YOUR_SECRET_TOKEN
Accept: */*

{
  "project": "chess",
  "version": "131",
  "frontierMetric": "mAP5095",
  "availableMetrics": [
    "mAP",
    "mAP5095",
    "mAP75",
    "precision",
    "recall",
    "f1"
  ],
  "models": [
    {
      "modelId": "acme/chess-fast",
      "evaluationId": "eval-fast",
      "metrics": {
        "mAP": 0.84,
        "mAP5095": 0.61,
        "mAP75": 0.68,
        "f1": 0.79,
        "precision": 0.82,
        "recall": 0.76
      },
      "medianLatencyMs": 3,
      "onFrontier": true,
      "exclusionReason": null
    },
    {
      "modelId": "acme/chess-new",
      "evaluationId": null,
      "metrics": {},
      "medianLatencyMs": null,
      "onFrontier": false,
      "exclusionReason": "evaluation_unavailable"
    }
  ]
}

Python SDK

वही तुलना प्रतिक्रिया प्राप्त करने के लिए Python SDK संस्करण 1.5.1 या बाद का उपयोग करें:

comparison = workspace.compare_model_evaluations(
    "chess-pieces",
    131,
    frontier_metric="mAP5095",
)

प्रत्येक पंक्ति के modelId को स्थिर मॉडल संदर्भ के रूप में उपयोग करें। फ्रंटियर को पुनर्निर्मित करने के बजाय सर्वर के onFrontier मान का उपयोग करें।

CLI

उपयोग करें roboflow संस्करण 1.5.1 या बाद का उपयोग करके किसी प्रोजेक्ट के डेटासेट संस्करण की तुलना करें:

roboflow --workspace my-workspace eval compare \
  --project chess-pieces \
  --version 131 \
  --frontier-metric mAP5095

जोड़ें --json ताकि डिस्प्ले राउंडिंग के बिना पूर्ण प्रतिक्रिया लौटे। कुंजी को model-eval:read स्कोप और प्रोजेक्ट एक्सेस की आवश्यकता है।

MCP

इसका कॉल करें model_evals_compare टूल को एक प्रोजेक्ट स्लग, संस्करण संख्या, और वैकल्पिक फ्रंटियर मेट्रिक के साथ:

{
  "project_id": "chess-pieces",
  "version_number": 131,
  "frontier_metric": "mAP5095"
}

यह टूल वर्तमान वर्कस्पेस का उपयोग करता है। लौटाए गए onFrontier मानों का उपयोग समझौतों को समझाने के लिए करें। यह टूल किसी मॉडल का चयन नहीं करता।

पिछलाप्रशिक्षित मॉडलों का मूल्यांकन करें

अगलाप्रशिक्षण परिणाम देखें

अंतिम अपडेट 9 दिन पहले

क्या यह उपयोगी था?