> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/hi/evaluate/compare-trained-models.md).

# प्रशिक्षित मॉडलों की तुलना करें

एक ही डेटासेट संस्करण पर मॉडलों के लिए टेस्ट-सेट सटीकता और मध्यिका लेटेंसी की तुलना करें।

प्रशिक्षित मॉडलों की तुलना करके सटीकता और गति के बीच के समझौते खोजें। तुलना में वे मॉडल शामिल हैं जो उसी Dataset Version पर प्रशिक्षित किए गए हैं या उसमें अपलोड किए गए हैं।

तुलना अनुरोध केवल-पढ़ने योग्य होते हैं। वे मूल्यांकन शुरू नहीं करते।

{% hint style="info" %}
Model Comparison के लिए आपके Workspace में Model Evaluation की पहुँच आवश्यक है। पहुँच के बिना, "Compare" टैब में अपग्रेड प्रॉम्प्ट दिखता है और तुलना अनुरोध त्रुटि लौटाते हैं।
{% endhint %}

## के बारे में

प्रत्येक मॉडल पंक्ति में उसके मेट्रिक्स, माध्यिका विलंबता, frontier स्थिति, और बहिष्करण का कारण शामिल होता है। बिना मूल्यांकन वाले मॉडल प्रतिक्रिया में बने रहते हैं।

यह तुलना प्रत्येक मॉडल के लिए सबसे हालिया पूर्ण किए गए मूल्यांकन का उपयोग करती है। यह किसी पुराने, योग्य मूल्यांकन पर वापस नहीं जाती।

डिफ़ॉल्ट frontier मेट्रिक Project के प्रकार पर निर्भर करती है:

* Object Detection, Instance Segmentation, और Keypoint Detection: mAP\@50:95 (`mAP5095`).
* Semantic Segmentation: mIoU (`mIoU`).
* Classification: F1 (`f1`).

किसी अलग मेट्रिक की तुलना करने के लिए `availableMetrics` में से कोई अन्य मान उपयोग करें। API accuracy मान अनुपात होते हैं। CLI प्रतिशत दिखाता है।

Latency मिलीसेकंड में सर्वर-साइड inference समय की माध्यिका है। इसमें preprocessing और postprocessing शामिल हैं। इसमें नेटवर्क समय शामिल नहीं है।

यदि कोई भी मॉडल कम-से-कम उतना ही सटीक और उतना ही तेज़ नहीं है, और एक सख़्त सुधार मौजूद है, तो मॉडल Pareto frontier पर होता है। समान माप कई मॉडलों को frontier पर रख सकते हैं। Frontier सदस्यता कोई अनुशंसा नहीं है।

## Web App

Project sidebar में "Models" के अंतर्गत "Compare" खोलें। संस्करण चुनने के लिए "Dataset Version" सूची का उपयोग करें।

चार्ट में वे मॉडल शामिल हैं जिनमें latency और चयनित मेट्रिक है। उसका model card खोलने के लिए किसी बिंदु का चयन करें।

चार्ट मेट्रिक और frontier बदलने के लिए मेट्रिक चयनकर्ता का उपयोग करें। Detection Projects में mAP\@50, mAP\@50:95, mAP\@75, Precision, Recall, और F1 शामिल हो सकते हैं। Instance Segmentation Projects में mBAP\@50, mBAP\@50:95, और mBAP\@75 भी शामिल हो सकते हैं। Semantic Segmentation Projects में mBIoU भी शामिल हो सकता है। पुराने मूल्यांकनों में ये boundary metrics नहीं होते, इसलिए जब आप इनमें से किसी को चुनते हैं तो उन मॉडलों को दिखने के लिए evaluation update की आवश्यकता होती है।

"Some models need evaluation updates" पैनल उन मॉडलों की सूची दिखाता है जिनके comparison results गायब हैं और बताता है कि प्रत्येक मॉडल को क्या चाहिए।

* किसी ऐसे मॉडल के लिए "Run Evaluation" पर क्लिक करें जिसका कभी मूल्यांकन नहीं हुआ है।
* जब किसी मूल्यांकन में latency या accuracy metric की कमी हो, तो "Update Evaluation" पर क्लिक करें।
* असफल रन के बाद "Retry Evaluation" पर क्लिक करें।

पैनल में सभी योग्य मॉडलों का मूल्यांकन करने के लिए "Update All" पर क्लिक करें। पहले से queued या चल रहे मूल्यांकन शामिल नहीं किए जाते।

किसी भी मॉडल के comparison result आने से पहले, टैब चार्ट के बजाय अगला चरण दिखाता है (जैसे: "Train a Model", "View Training", "Run Evaluations", "Update Evaluations")। वहाँ "Run Evaluations" और "Update Evaluations" "Update All" को प्रतिस्थापित करते हैं।

जिस NAS child का मूल्यांकन नहीं हुआ है, वह अपने NAS training से लिंक होता है। जिसका मौजूदा मूल्यांकन है, वह evaluation retry flow का उपयोग कर सकता है।

## HTTP API

एक Dataset Version के लिए तुलना पढ़ें। अनुरोध मूल्यांकन शुरू या अपडेट नहीं करते।

{% openapi src="/files/ec2b281044af1e2b032b79f7de1cfb077a249c5c" path="/{workspace}/model-evals/compare" method="get" %}
[model-comparison.yaml](https://3815805500-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-bbdbe3592227d8d51aae40bf59a6d1a879acd71a%2Fmodel-comparison.yaml?alt=media)
{% endopenapi %}

## Python SDK

उसी तुलना प्रतिक्रिया को पाने के लिए Python SDK संस्करण 1.5.1 या बाद का उपयोग करें:

```python
comparison = workspace.compare_model_evaluations(
    "chess-pieces",
    131,
    frontier_metric="mAP5095",
)
```

प्रत्येक पंक्ति के `modelId` को स्थिर model reference के रूप में उपयोग करें। frontier को फिर से बनाने के बजाय सर्वर के `onFrontier` मान का उपयोग करें।

## CLI

उपयोग करें `roboflow` संस्करण 1.5.1 या बाद का उपयोग करके किसी Project के Dataset Version की तुलना करें:

```bash
roboflow --workspace my-workspace eval compare \
  --project chess-pieces \
  --version 131 \
  --frontier-metric mAP5095
```

जोड़ें `--json` ताकि display rounding के बिना पूर्ण प्रतिक्रिया लौटे। कुंजी को `model-eval:read` scope और Project access की आवश्यकता है।

## MCP

इस `model_evals_compare` tool को Project slug, Version number, और वैकल्पिक frontier metric के साथ कॉल करें:

```json
{
  "project_id": "chess-pieces",
  "version_number": 131,
  "frontier_metric": "mAP5095"
}
```

यह tool वर्तमान Workspace का उपयोग करता है। लौटाए गए `onFrontier` मानों का उपयोग tradeoffs समझाने के लिए करें। यह tool कोई मॉडल चयन नहीं करता।