> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/workflows/hi/evaluate/workflow-evals.md).

# वर्कफ़्लो मूल्यांकन

वेब ऐप, HTTP API, Python SDK, CLI, या MCP के माध्यम से लेबल किए गए केसों के विरुद्ध वर्कफ़्लो का मूल्यांकन और तुलना करें।

Workflow Evals यह जाँचता है कि कोई Workflow उदाहरणों के एक सेट पर आपकी आवश्यकताओं को पूरा करता है या नहीं। इसका उपयोग विफलताएँ खोजने, Workflow संस्करणों की तुलना करने, और परिनियोजन से पहले regression जाँचने के लिए करें।

को [मॉडल तुलना ट्यूटोरियल](/workflows/hi/tutorials/compare-models-with-workflow-evals.md) का पालन करें ताकि एक bolt-counting Eval परिभाषित किया जा सके और एक agent का उपयोग करके candidate Workflows बनाए और उनकी तुलना की जा सके।

## के बारे में

एक Eval, Cases के Dataset को एक Spec के साथ जोड़ता है जो बताता है कि क्या जाँचना है। प्रत्येक Case में inputs और ground truth होते हैं: अपेक्षित मान या annotations। एक Check एक evaluator और उसकी settings चुनता है, जैसे predicted boxes को आपके annotations से कितनी निकटता से मेल खाना चाहिए।

एक Run उन Cases और Checks के विरुद्ध एक या अधिक Workflows का मूल्यांकन करता है। प्रत्येक Run अपने स्वयं के inputs, ground truth, Workflow definitions, और evaluation settings को कैप्चर करता है। किसी Case को संपादित या हटाने से भविष्य के Runs प्रभावित होते हैं; इससे मौजूदा Runs के परिणाम नहीं बदलते।

## वेब ऐप

अपने Workspace में "Workflows" खोलें, "Evals" चुनें, और "Create Eval" पर क्लिक करें। इन चरणों का पालन करें:

1. "Select Workflow": उपयोग करने के लिए Workflow और inference server चुनें।
2. "Upload Ground Truth": "Browse Device", "Pick from Asset Library", या "Use a Dataset test set" से images जोड़ें। जाँचने के लिए Workflow outputs चुनें।
3. "Label Ground Truth": अपेक्षित मान दर्ज करें और images पर annotations करें। Ground truth में जोड़ने से पहले किसी भी Label Assist सुझाव की समीक्षा करें। Assist card में, सुझाव देने के लिए कोई AI model या Workflow चुनें। आप इस Eval या इसके Runs में उपयोग किया गया कोई भी Workflow चुन सकते हैं। जो Workflows हटाए जा चुके हैं वे "Discarded workflows" के अंतर्गत दिखाई देते हैं और अपनी सहेजी हुई प्रति से चलते हैं। डिफ़ॉल्ट रूप से, सुझाव केवल खाली फ़ील्ड भरते हैं। जो labels पहले से मौजूद हैं उन्हें बदलने के लिए "Existing labels" के अंतर्गत "Overwrite" चालू करें। जैसे ही आप उन्हें खोलते हैं, खाली Cases को label करने के लिए Assist card में "Auto-annotate" चालू करें। यह सुझावों को draft के रूप में सहेजता है; उन्हें अनुमोदित करने के लिए आपको अभी भी "Add to Ground Truth" पर क्लिक करना होगा।
4. "Define Eval Checks": अपनी आवश्यकताओं को व्यक्त करने वाले evaluators और thresholds चुनें। "Add check" पर क्लिक करें और output की ground truth से तुलना करने के लिए "Output check" चुनें, या प्रति Case समय-सीमा निर्धारित करने के लिए "Latency budget" चुनें। किसी Case को केवल तब पास करने के लिए जब output ground truth के बराबर हो, "Matches ground truth exactly" चुनें। अपनी स्वयं की metric और threshold, जैसे tolerance, सेट करने के लिए "Custom rule" चुनें। Classification checks इस तुलना करते हैं कि `शीर्ष` या `predicted_classes` output की अपेक्षित classes से, exact match या F1 के आधार पर। बिना Run शुरू किए, एक स्वीकृत Case पर अपने Checks का परीक्षण करने के लिए "Run preview" पर क्लिक करें।
5. "Run Evaluation": सेटअप और क्रेडिट अनुमान की समीक्षा करें, फिर Run शुरू करें।

सहेजा गया ground truth देखने के लिए, Eval खोलें और "Browse Ground Truth" पर क्लिक करें। गैलरी प्रत्येक Case image को उसकी annotations के साथ दिखाती है और उसे "Labeled" या "Needs labels" के रूप में चिह्नित करती है। पूर्ण-स्क्रीन editor में उसका ground truth संपादित करने के लिए किसी Case पर क्लिक करें।

एक Run के बाद, अलग-अलग विफलताओं की जाँच के लिए "Cases" का उपयोग करें और परिणामों की तुलना के लिए "Metrics" का उपयोग करें। जब किसी Run में दो या अधिक Workflows होते हैं, तो पहला tab "Overview" होता है। यह प्रत्येक Workflow की quality को latency या credits के मुकाबले प्लॉट करता है, और इसका heatmap दिखाता है कि प्रत्येक Case पर प्रत्येक Workflow ने कितने Checks पास किए। "Vector Analysis" image embeddings का उपयोग करके समान Cases को समूहित करता है ताकि आप विफलताओं के clusters की जाँच कर सकें। Embedding generation asynchronously चलती है; इसके पूरा होने तक प्रतीक्षा करें या उस tab से विफल generation को फिर से प्रयास करें।

### Latency

"Latency Avg" प्रत्येक Case के लिए दर्ज औसत request time है, जिसमें दर्ज अवधि वाले विफल requests भी शामिल हैं। इसमें network time और runner द्वारा समयबद्ध कोई भी input preparation शामिल है, और evaluation queueing तथा scoring शामिल नहीं हैं। यह सभी Case durations का योग नहीं है और न ही केवल model inference time का माप है।

"Latency budget" check वाले Runs हर Case को फिर से चलाते हैं, इसलिए वे cached results का पुनः उपयोग नहीं करते। किसी पुराने Run में latency check जोड़ने के लिए, एक नया Run शुरू करें; Rescore latency माप नहीं सकता।

### क्रेडिट्स

किसी Eval में स्वीकृत प्रत्येक Workflow execution की लागत 1/10,000 credit होती है, चाहे आप उसे local पर चलाएँ या Serverless पर। 100 Cases पर 3 Workflows का मूल्यांकन करने पर evaluation के लिए 3/10,000 credit लगते हैं, साथ ही कोई भी inference शुल्क।

Serverless Workflow inference और Label Assist के लिए अलग शुल्क हैं। नया Replay या Rescore एक नया billable evaluation execution बनाता है; उसी creation request को उसके मूल idempotency key के साथ फिर से भेजना नहीं बनाता। Embedding generation evaluation credits का उपभोग नहीं करती। Ground truth label करते समय Smart Select AI Labeling credits का उपयोग करता है, ठीक annotation editor की तरह।

## HTTP API

Evals, Specs, Datasets, Cases, Runs, results, exports, और embeddings को प्रबंधित करने के लिए API का उपयोग करें। namespace है `https://api.roboflow.com/workspaces/{workspace}/workflow-evals`जहाँ `workspace` आपका Workspace slug है।

निजी Workspace API key या OAuth access token के साथ `Authorization: Bearer` header में authenticate करें। Folder-restricted credentials समर्थित नहीं हैं। OAuth access उपयोगकर्ता की Workspace permissions और source images, datasets, या Workflows को पढ़ने के लिए आवश्यक permissions का भी पालन करता है।

Workflow Evals के चार स्वतंत्र OAuth scopes हैं:

* `workflow-evals:read`: Evals पढ़ें और evaluators तथा schemas खोजें।
* `workflow-evals:write`: evaluation संसाधन बनाएँ और संपादित करें।
* `workflow-evals:run`: Runs शुरू और नियंत्रित करें।
* `workflow-evals:export`: परिणाम export करें।

अपने integration को जितने scopes चाहिए, सभी का अनुरोध करें। एक scope दूसरे को अनुमति नहीं देता। देखें [OAuth प्रमाणीकरण](https://docs.roboflow.com/reference/authentication/authentication/oauth) अपने application को जोड़ने के लिए।

### Evaluators खोजें

Checks बनाने से पहले evaluator catalog प्राप्त करें। यह स्थापित engine के लिए evaluator types और configuration schemas लौटाता है।

{% openapi src="/files/8008ad8a4e1f5fc1a6a8a7cc8428eaf0633573a6" path="/workspaces/{workspace}/workflow-evals/evaluators" method="get" %}
[workflow-evals-discovery.openapi.json](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-2928c95a7448a440bb1fffe80e25051dc965410d%2Fworkflow-evals-discovery.openapi.json?alt=media)
{% endopenapi %}

### API contract खोजें

पूर्ण operation सूची, request schemas, आवश्यक scopes, और headers के लिए Workspace का OpenAPI document प्राप्त करें। output types या evaluator settings का अनुमान लगाने के बजाय evaluator catalog के साथ इसका उपयोग करें।

{% openapi src="/files/8008ad8a4e1f5fc1a6a8a7cc8428eaf0633573a6" path="/workspaces/{workspace}/workflow-evals/openapi.json" method="get" %}
[workflow-evals-discovery.openapi.json](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-2928c95a7448a440bb1fffe80e25051dc965410d%2Fworkflow-evals-discovery.openapi.json?alt=media)
{% endopenapi %}

### संसाधन और Runs प्रबंधित करें

Checks परिभाषित करने के लिए Specs का, Cases रखने के लिए Datasets का, और Workflow outputs को Spec से map करने के लिए bindings का उपयोग करें। Run शुरू करने से पहले Spec और bindings मान्य करें। List responses में उपयोग होता है `items` और, जब अधिक परिणाम हों, `nextCursor`.

जब किसी operation को आवश्यकता हो `Idempotency-Key`की, तो एक UUID v4 भेजें और उसी request को फिर से आज़माते समय वही key रखें। जब इसकी आवश्यकता हो `If-Match`की, तो दूसरे संपादन को overwrite होने से बचाने के लिए संसाधन का वर्तमान revision भेजें। Runs, imports, और exports asynchronous हैं: उनके समाप्त होने तक उनकी status poll करें, और Run को रद्द करने के लिए स्पष्ट cancellation operation का उपयोग करें।

आप किसी असफल या आंशिक रूप से पूर्ण हुए Run को export नहीं कर सकते जिसमें अभी भी retry करने के लिए Cases हों। इसे जैसा है वैसा export करने के लिए, भेजें `allowPendingRetries: true` export request में। आप एक सक्रिय Run को export नहीं कर सकते।

{% hint style="info" %}
cloud backend आपके कंप्यूटर के `localhost`से कनेक्ट नहीं हो सकता। Local Runs एक client runner का उपयोग करते हैं जो Workflow चलाता है और scoring के लिए उसके outputs सबमिट करता है। API के माध्यम से Run बनाना आपके local server को cloud से reachable नहीं बनाता।
{% endhint %}

## Python SDK

Workflow Evals के लिए [Roboflow Python SDK](https://docs.roboflow.com/reference/platform/python-sdk)का संस्करण 1.7.0 या उससे बाद का होना आवश्यक है। इसे इंस्टॉल या अपडेट करें:

```bash
pip install --upgrade roboflow
```

Evaluators खोजने और Evals सूचीबद्ध करने के लिए Workspace के Workflow Evals client का उपयोग करें:

```python
import os

from roboflow import Roboflow

rf = Roboflow(api_key=os.environ["ROBOFLOW_API_KEY"] )
evals = rf.workspace("your-workspace").workflow_evals()

catalog = evals.list_evaluators()
page = evals.list(limit=20)

for evaluation in page["items"]:
    print(evaluation["id"], evaluation["name"] )
```

वही client यह भी उपलब्ध कराता है `create`, `start_run`, `get_run`, `wait_for_run`और `openapi`। Run शुरू करने से पहले, से schemas का उपयोग करके Spec, Dataset, और bindings बनाएँ `openapi()` और `list_evaluators()`.

## CLI

यह [Roboflow CLI](https://docs.roboflow.com/reference/platform/cli/install-and-set-up-the-cli) में शामिल है `workflow-eval` command group। अपनी निजी API key से authenticate करें और एक Workspace चुनें:

```bash
export ROBOFLOW_API_KEY="your-private-api-key"
roboflow --workspace your-workspace --json workflow-eval list
roboflow --workspace your-workspace --json workflow-eval evaluator list
roboflow --workspace your-workspace --json workflow-eval run list --eval your-eval-id
```

उपयोग करें `roboflow workflow-eval --help` resource और Run commands देखने के लिए। यह command group Workflows का मूल्यांकन करता है; यह model evaluation commands से अलग है।

## MCP

को कनेक्ट करें [Roboflow MCP Server](https://docs.roboflow.com/agents/mcp-server) अपने agent से। उससे कहें कि वह `workflow_evals_agent_manifest` और Eval बनाने से पहले Workflow Evals guidance लोड करे। ये tools evaluator discovery, Spec validation, authoring, Runs, और results को उसी public API के माध्यम से कवर करते हैं।

उदाहरण के लिए, पूछें: "इन test images का उपयोग करके इस Workflow के लिए एक Workflow Eval बनाएँ। Ground truth और Checks परिभाषित करने, setup मान्य करने, और Run शुरू करने से पहले मुझे credit estimate दिखाने में मदद करें।"