> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/workflows/hi/evaluate/workflow-evals.md).

# वर्कफ़्लो मूल्यांकन

वेब ऐप, HTTP API, Python SDK, CLI, या MCP के माध्यम से लेबल किए गए केसों के विरुद्ध वर्कफ़्लो का मूल्यांकन और तुलना करें।

Workflow Evals जाँचता है कि कोई Workflow उदाहरणों के एक सेट पर आपकी आवश्यकताओं को पूरा करता है या नहीं। विफलताएँ ढूँढ़ने, Workflow के संस्करणों की तुलना करने और तैनाती से पहले प्रतिगमन जाँचने के लिए इसका उपयोग करें।

इसका पालन करें: [मॉडल तुलना ट्यूटोरियल](https://docs.roboflow.com/workflows/hi/tutorials/compare-models-with-workflow-evals.md) बोल्ट गिनने वाला Eval परिभाषित करने और उम्मीदवार Workflows बनाने व उनकी तुलना करने के लिए एजेंट का उपयोग करने हेतु।

## परिचय

Eval में Cases का एक Dataset और यह तय करने वाला Spec शामिल होता है कि क्या जाँचना है। प्रत्येक Case में इनपुट और ग्राउंड ट्रुथ होते हैं: अपेक्षित मान या एनोटेशन। Check में एक मूल्यांकनकर्ता और उसकी सेटिंग चुनी जाती हैं, जैसे कि अनुमानित बॉक्स आपके एनोटेशन से कितनी निकटता से मेल खाने चाहिए।

Run इन Cases और Checks के आधार पर एक या अधिक Workflows का मूल्यांकन करता है। प्रत्येक Run में उसके अपने इनपुट, ग्राउंड ट्रुथ, Workflow परिभाषाएँ और मूल्यांकन सेटिंग सहेजी जाती हैं। किसी Case को संपादित या हटाने से आगे के Runs प्रभावित होते हैं; मौजूदा Runs के परिणाम नहीं बदलते। जिन Cases का ग्राउंड ट्रुथ पूरा नहीं है, Run उन्हें छोड़ देता है और बताता है कि कितने Cases छोड़े गए।

Checks दो प्रकार के होते हैं: "आउटपुट चेक" Workflow के आउटपुट की तुलना ग्राउंड ट्रुथ से करता है, और "लेटेंसी बजट" प्रत्येक Case के लिए समय-सीमा तय करता है। अनुपात मेट्रिक्स (उदा.: precision, recall, F1, mAP) की सीमाएँ 0 से 1 तक दशमलव होती हैं, इसलिए 80% के लिए 0.8 दर्ज करें। वर्गीकरण Checks, `top` या `predicted_classes` आउटपुट की अपेक्षित क्लासों से तुलना करते हैं—सटीक मिलान या F1 के आधार पर। Keypoint Checks, सभी Cases के आँकड़ों को मिलाकर, अनुमानित बिंदुओं को आपके लेबल किए गए बिंदुओं के विरुद्ध COCO AP और AR तथा औसत OKS सीमा पर F1 से स्कोर करते हैं।

आप Dataset के टेस्ट सेट से ग्राउंड ट्रुथ आयात कर सकते हैं। आयात में मूल इमेजों के मौजूदा एनोटेशन इस्तेमाल होते हैं, Dataset Version की प्रीप्रोसेस की गई या ऑगमेंट की गई इमेजें नहीं। इसमें बॉक्स, वर्गीकरण और सेगमेंटेशन समर्थित हैं। Keypoint डेटासेट में केवल इमेजें आयात होती हैं। आयात किए गए लेबल आपकी समीक्षा तक अप्रूव नहीं होंगे।

### लेटेंसी

"Latency Avg" प्रति Case दर्ज किए गए अनुरोध समय का औसत है, जिसमें दर्ज अवधि वाले विफल अनुरोध भी शामिल हैं। इसमें नेटवर्क समय और रनर द्वारा समय मापी गई कोई भी इनपुट तैयारी शामिल है, लेकिन मूल्यांकन कतार में लगने का समय और स्कोरिंग शामिल नहीं हैं। यह सभी Case अवधियों का योग नहीं है और न ही केवल मॉडल अनुमान समय का माप है।

"Latency budget" Check वाले Runs हर Case को फिर से चलाते हैं, इसलिए वे कैश किए गए परिणामों का पुनः उपयोग नहीं करते। किसी पुराने Run में लेटेंसी Check जोड़ने के लिए नया Run शुरू करें; Rescore से लेटेंसी मापी नहीं जा सकती।

### क्रेडिट

Eval में Workflow का हर सफलतापूर्वक स्वीकार किया गया निष्पादन 1/10,000 क्रेडिट खर्च करता है, चाहे आप उसे स्थानीय रूप से चलाएँ या Serverless पर। 100 Cases पर 3 Workflows का मूल्यांकन करने में मूल्यांकन के लिए 3/10,000 क्रेडिट लगते हैं, साथ ही अनुमान शुल्क भी।

Serverless Workflow अनुमान और Label Assist के शुल्क अलग-अलग हैं। नया Replay या Rescore एक नया शुल्क-योग्य मूल्यांकन निष्पादन बनाता है; उसी निर्माण अनुरोध को उसकी मूल idempotency key के साथ दोबारा आज़माने पर ऐसा नहीं होता। एम्बेडिंग जनरेशन से मूल्यांकन क्रेडिट खर्च नहीं होते। ग्राउंड ट्रुथ लेबल करते समय Smart Select, AI Labeling क्रेडिट का उपयोग करता है—ठीक वैसे ही जैसे एनोटेशन एडिटर में।

## वेब ऐप

अपने Workspace में "Workflows" खोलें, "Evals" चुनें और "Create Eval" पर क्लिक करें। इन चरणों का पालन करें:

1. "Select Workflow": Workflow चुनें। अनुमान सर्वर बदलने के लिए चरण के हेडर में सर्वर चिप पर क्लिक करें।
2. "Upload Ground Truth": अपने डिवाइस, Asset Library या Dataset के टेस्ट सेट से इमेजें जोड़ें, फिर जाँचने के लिए Workflow आउटपुट चुनें।
3. "Label Ground Truth": अपेक्षित मान दर्ज करें और इमेजों पर एनोटेशन करें। किसी मॉडल या Workflow से सुझाव पाने के लिए "Assist" कार्ड का उपयोग करें, और इमेज खोलते ही Cases को लेबल करने के लिए "Auto-annotate" चालू करें। अगर किसी इमेज में बॉक्स, मास्क या keypoint आउटपुट के लिए कोई ऑब्जेक्ट नहीं है, तो उस आउटपुट के पास खाली सेट आइकन पर क्लिक करके उसे बिना ऑब्जेक्ट वाला चिह्नित करें। सभी लेबल की गई इमेजें एक साथ जोड़ने के लिए "Add N to the Eval and Continue" पर क्लिक करें। जिन इमेजों को आप लेबल नहीं करते, वे ड्राफ़्ट बनी रहती हैं। Keypoints लेबल करने के लिए, यह चरण Workflow के keypoint मॉडल के साथ सहेजे गए स्केलेटन का उपयोग करता है। अगर मॉडल में स्केलेटन नहीं है, तो Eval के लिए एक बनाने हेतु "Create With AI" या "Create Manually" पर क्लिक करें। बिंदुओं के नाम Workflow के बिंदुओं के नामों से मेल खाने चाहिए। Label Assist, 0.5 से कम कॉन्फिडेंस वाले बिंदुओं को स्थानित नहीं करता।
4. "Define Eval Checks": "Add check" पर क्लिक करें और सीमाएँ निर्धारित करें। अपने Checks को एक Case पर परखने के लिए "Run preview" पर क्लिक करें।
5. "Run Evaluation": सेटअप और क्रेडिट अनुमान की समीक्षा करें, फिर Run शुरू करें।

Eval पेज पर ग्राउंड ट्रुथ और Checks के साथ उसके Runs की सूची होती है। ग्राउंड ट्रुथ को संपादित करने के लिए वहीं से खोलें। आपके बदलाव करते ही वे सहेजे जाते हैं। आयात किए गए या ड्राफ़्ट लेबल को उसी रूप में अप्रूव करने के लिए "Approve Labels" पर क्लिक करें। Cases ढूँढ़ने के लिए "Search saved ground truth" में टाइप करके ग्राउंड ट्रुथ (उदा.: क्लास, संख्या, पूर्णता) या स्रोत इमेज (उदा.: फ़ाइल नाम, टैग, सिमेंटिक खोज) के आधार पर फ़िल्टर करें।

![Eval पेज में गुणवत्ता, लेटेंसी और विफल Check के रुझान, चार Runs, ग्राउंड ट्रुथ इमेजें और दो Checks](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-c9b38e2d3b29b8a9419e5780fc673efa923b122e%2Fworkflow-evals-eval-page.png?alt=media)

परिणाम देखने के लिए कोई Run खोलें। दो या अधिक Workflows होने पर, "Overview" प्रत्येक Workflow की गुणवत्ता को लेटेंसी या क्रेडिट के विरुद्ध प्लॉट करता है और प्रत्येक Case के पास हुए Checks का हीटमैप दिखाता है। "Metrics" प्रत्येक Check के अनुसार परिणामों की तुलना करता है, और "Vector Analysis" मिलते-जुलते Cases को समूहित करता है ताकि आप विफलताओं के समूह ढूँढ़ सकें।

![Overview टैब में छह Workflows के लिए पास हुए Checks को लेटेंसी के विरुद्ध प्लॉट किया गया है; नीचे प्रत्येक Case के पास हुए Checks का हीटमैप है](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-9a7612903ca0ae3e2043d0bc43c710a0ef9594da%2Fworkflow-evals-results-overview.png?alt=media)

### तैनाती गेट

तैनाती गेट किसी Workflow संस्करण को लाइव होने से रोकता है, जब तक वह Eval पास न कर ले। इसे सेट अप करने के लिए Workflow खोलें और "Publish" के पास वाले ड्रॉपडाउन पर क्लिक करें। "Publishing Requirements" के अंतर्गत, "Require an Eval to pass" चुनें। कोई Eval चुनें, प्रत्येक Check के लिए न्यूनतम पास दर तय करें (डिफ़ॉल्ट 100%) और "Save Checks" पर क्लिक करें। सूची में वे तैयार Evals भी दिखते हैं जिनके लिए Workflow उपयुक्त है, लेकिन अभी उनका हिस्सा नहीं है। इनमें से कोई चुनने पर, सहेजने से Workflow उस Eval में जुड़ जाता है। इसके लिए Workflow Evals को प्रबंधित करने और चलाने की अनुमति चाहिए।

नवीनतम सहेजे गए संस्करण पर Eval चलाने के लिए "Run Checks" पर क्लिक करें। सभी Checks पास होने पर "Publish" पर क्लिक करें। "Auto-Publish" मोड में, हर बार सहेजने पर Checks चलते हैं और पास होने पर संस्करण अपने आप प्रकाशित हो जाता है।

हर नए संस्करण के लिए अपना अलग पास हुआ Run आवश्यक है। Eval संपादित करने पर, पहले पास हुए संस्करणों को Checks फिर से चलाने होंगे। गेट सेट करने या हटाने के लिए Workflow तैनाती गेट प्रबंधित करने की अनुमति चाहिए।

हर संस्करण को किसी व्यक्ति से अप्रूव करवाने के लिए, "Publishing Requirements" के अंतर्गत "Require approval" चुनें और अप्रूव करने वाले लोगों या भूमिकाओं को चुनें। अप्रूवर के पास Workflows प्रबंधित करने की अनुमति होनी चाहिए। उनमें से किसी एक की मंज़ूरी से संस्करण प्रकाशित हो सकता है, और किसी एक की अस्वीकृति उसे रोक देती है। आप अपने सहेजे हुए संस्करण को अप्रूव नहीं कर सकते। हर नए संस्करण के लिए अलग मंज़ूरी चाहिए। समीक्षा का अनुरोध करने के लिए, "Publish" पर क्लिक करें और "Request Review" चुनें। अप्रूवर "Approve" या "Reject" पर क्लिक करते हैं। अगर Workflow में Eval गेट भी है, तो संस्करण को दोनों पास करने होंगे।

## HTTP API

Evals, Specs, Datasets, Cases, Runs, परिणाम, निर्यात और एम्बेडिंग प्रबंधित करने के लिए API का उपयोग करें। नेमस्पेस है `https://api.roboflow.com/workspaces/{workspace}/workflow-evals`, जहाँ `workspace` आपका Workspace slug है।

निजी Workspace API key या OAuth access token के साथ `Authorization: Bearer` हेडर में प्रमाणित करें। फ़ोल्डर तक सीमित क्रेडेंशियल समर्थित नहीं हैं। OAuth एक्सेस के लिए उपयोगकर्ता की Workspace अनुमतियाँ और स्रोत इमेजों, डेटासेट या Workflows को पढ़ने हेतु आवश्यक अनुमतियाँ भी लागू होती हैं।

Workflow Evals में चार स्वतंत्र OAuth scopes हैं:

* `workflow-evals:read`: Evals पढ़ें और मूल्यांकनकर्ताओं व स्कीमाओं का पता लगाएँ।
* `workflow-evals:write`: मूल्यांकन संसाधन बनाएँ और संपादित करें।
* `workflow-evals:run`: Runs शुरू और नियंत्रित करें।
* `workflow-evals:export`: परिणाम निर्यात करें।

आपके इंटीग्रेशन को जिन भी स्कोप की ज़रूरत है, उन सभी के लिए अनुरोध करें। एक स्कोप से अन्य स्कोप की अनुमति नहीं मिलती। अपना एप्लिकेशन कनेक्ट करने के लिए देखें [OAuth प्रमाणीकरण](https://docs.roboflow.com/reference/authentication/authentication/oauth) ।

### Evaluators खोजें

Checks बनाने से पहले evaluator कैटलॉग प्राप्त करें। यह इंस्टॉल किए गए इंजन के evaluator प्रकार और कॉन्फ़िगरेशन स्कीमा लौटाता है।

{% openapi src="/files/8008ad8a4e1f5fc1a6a8a7cc8428eaf0633573a6" path="/workspaces/{workspace}/workflow-evals/evaluators" method="get" %}
[workflow-evals-discovery.openapi.json](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-2928c95a7448a440bb1fffe80e25051dc965410d%2Fworkflow-evals-discovery.openapi.json?alt=media)
{% endopenapi %}

### API अनुबंध खोजें

सभी ऑपरेशनों की सूची, अनुरोध स्कीमा, आवश्यक स्कोप और हेडर देखने के लिए Workspace का OpenAPI दस्तावेज़ प्राप्त करें। आउटपुट प्रकारों या evaluator सेटिंग्स का अनुमान लगाने के बजाय इसका उपयोग evaluator कैटलॉग के साथ करें।

{% openapi src="/files/8008ad8a4e1f5fc1a6a8a7cc8428eaf0633573a6" path="/workspaces/{workspace}/workflow-evals/openapi.json" method="get" %}
[workflow-evals-discovery.openapi.json](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-2928c95a7448a440bb1fffe80e25051dc965410d%2Fworkflow-evals-discovery.openapi.json?alt=media)
{% endopenapi %}

### संसाधनों और Runs को प्रबंधित करें

Checks परिभाषित करने के लिए Specs, Cases रखने के लिए Datasets, और Workflow आउटपुट को Spec से मैप करने के लिए bindings का उपयोग करें। Run शुरू करने से पहले Spec और bindings को सत्यापित करें। सूची वाले जवाबों में `items` होते हैं और, जब अधिक परिणाम मौजूद हों, तो `nextCursor`.

जहाँ किसी ऑपरेशन के लिए `Idempotency-Key`ज़रूरी हो, वहाँ UUID v4 भेजें और उसी अनुरोध को दोबारा भेजते समय वही कुंजी रखें। जहाँ `If-Match`ज़रूरी हो, वहाँ किसी दूसरे संपादन को ओवरराइट होने से बचाने के लिए संसाधन का मौजूदा revision भेजें। Runs, imports और exports असिंक्रोनस होते हैं: उनकी स्थिति पूरी होने तक जाँचते रहें, और Run रद्द करने के लिए स्पष्ट cancellation ऑपरेशन का उपयोग करें।

Dataset के Cases खोजने के लिए यह भेजें: `POST /workspaces/{workspace}/workflow-evals/eval-datasets/{evalDatasetId}/search`। स्रोत इमेज पर फ़िल्टर और सिमैंटिक खोज के लिए `image:read` स्कोप भी आवश्यक है। `nextCursor` के मौजूद न रहने तक इसे भेजते रहें, खाली पेज के बाद भी।

ऐसे विफल या आंशिक रूप से पूरे हुए Run को निर्यात नहीं किया जा सकता, जिसमें दोबारा प्रयास करने के लिए Cases बाकी हों। इसे मौजूदा स्थिति में निर्यात करने के लिए, export अनुरोध में `allowPendingRetries: true` भेजें। सक्रिय Run को निर्यात नहीं किया जा सकता।

{% hint style="info" %}
क्लाउड बैकएंड आपके कंप्यूटर के `localhost`से कनेक्ट नहीं हो सकता। Local Runs में क्लाइंट runner होता है, जो Workflow चलाता है और स्कोरिंग के लिए उसके आउटपुट सबमिट करता है। API के ज़रिए Run बनाने से आपका लोकल सर्वर क्लाउड के लिए पहुँच योग्य नहीं हो जाता।
{% endhint %}

### Eval हटाएँ

हटाने के दो चरण हैं: पहले प्रभाव का पूर्वावलोकन करें, फिर लौटाई गई `deletionKey`के साथ पुष्टि करें। यदि Eval deploy gates को नियंत्रित करता है, तो `impact.deployGates` प्रभावित Workflows की सूची देता है। पुष्टि करने पर वे gates हट जाते हैं और उनकी लंबित deploy जाँचें रद्द हो जाती हैं। किसी gated Eval को हटाने के लिए `workflow:update` और Workflow deploy gates प्रबंधित करने की अनुमति भी आवश्यक है; ungated Eval के लिए इन अतिरिक्त अनुमतियों की ज़रूरत नहीं होती। लौटाए गए deletion ऑपरेशन की स्थिति पूरी होने तक जाँचते रहें।

## Python SDK

Workflow Evals के लिए [Roboflow Python SDK](https://docs.roboflow.com/reference/platform/python-sdk)का संस्करण 1.7.0 या बाद का होना आवश्यक है। इसे इंस्टॉल या अपडेट करें:

```bash
pip install --upgrade roboflow
```

Evaluators खोजने और Evals की सूची देखने के लिए Workspace के Workflow Evals क्लाइंट का उपयोग करें:

```python
import os

from roboflow import Roboflow

rf = Roboflow(api_key=os.environ["ROBOFLOW_API_KEY"])
evals = rf.workspace("your-workspace").workflow_evals()

catalog = evals.list_evaluators()
page = evals.list(limit=20)

for evaluation in page["items"]:
    print(evaluation["id"], evaluation["name"])
```

उसी क्लाइंट में ये भी उपलब्ध हैं: `create`, `start_run`, `get_run`, `wait_for_run`, और `openapi`। रन शुरू करने से पहले, स्पेक, डेटासेट और बाइंडिंग बनाएँ। इसके लिए स्कीमा यहाँ से लें: `openapi()` और `list_evaluators()`.

## CLI

इस [Roboflow CLI](https://docs.roboflow.com/reference/platform/cli/install-and-set-up-the-cli) में `workflow-eval` कमांड समूह शामिल है। अपनी निजी API कुंजी से प्रमाणीकरण करें और एक वर्कस्पेस चुनें:

```bash
export ROBOFLOW_API_KEY="your-private-api-key"
roboflow --workspace your-workspace --json workflow-eval list
roboflow --workspace your-workspace --json workflow-eval evaluator list
roboflow --workspace your-workspace --json workflow-eval run list --eval your-eval-id
```

रिसोर्स और रन कमांड देखने के लिए `roboflow workflow-eval --help` का उपयोग करें। यह कमांड समूह वर्कफ़्लो का मूल्यांकन करता है; यह मॉडल मूल्यांकन कमांड से अलग है।

## MCP

अपने एजेंट को [Roboflow MCP Server](https://docs.roboflow.com/agents/mcp-server) से कनेक्ट करें। इवैल बनाने से पहले, उससे `workflow_evals_agent_manifest` और वर्कफ़्लो इवैल्स संबंधी मार्गदर्शन लोड करने को कहें। ये टूल उसी सार्वजनिक API के ज़रिए इवैलुएटर खोजने, स्पेक सत्यापित करने, इवैल बनाने, रन और परिणामों की सुविधा देते हैं। `workflow_evals_datasets_search` का उपयोग करके ग्राउंड ट्रुथ या स्रोत इमेज फ़िल्टर के आधार पर केस खोजें। स्रोत इमेज और सिमेंटिक खोज के लिए यह अनुमति भी आवश्यक है: `image:read`.

उदाहरण के लिए, पूछें: "इन टेस्ट इमेज का उपयोग करके इस वर्कफ़्लो के लिए एक वर्कफ़्लो इवैल बनाएँ। ग्राउंड ट्रुथ और चेक तय करने, सेटअप सत्यापित करने और रन शुरू करने से पहले क्रेडिट का अनुमान देखने में मेरी मदद करें।"
