> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/workflows/hi/tutorials/compare-models-with-workflow-evals.md).

# Workflow Evals के साथ मॉडलों की तुलना करें

Workflow Evals, समीक्षित ग्राउंड ट्रुथ, और Roboflow MCP Server से जुड़े एक एजेंट के साथ बोल्ट-गिनती कार्य पर मॉडलों की तुलना करें।

इस ट्यूटोरियल में, मैं उपयोग करता हूँ [Workflow Evals](https://docs.roboflow.com/workflows/hi/evaluate/workflow-evals.md) यह जानने के लिए कि मेरी टेस्ट छवियों पर कौन-सा तैयार-उपलब्ध मॉडल बोल्टों की गिनती सबसे सटीक करता है। आप वही प्रक्रिया अपना सकते हैं: ग्राउंड ट्रुथ तय करें, Checks सेट करें, और किसी agent से candidate Workflows बनाने और उनकी तुलना करने को कहें।

Workflow Evals, model evaluation जैसा है, लेकिन आप model predictions से अधिक चीज़ों की जाँच कर सकते हैं। आप counts, transformed predictions, या अन्य Workflow outputs को अपेक्षित मानों के विरुद्ध evaluate कर सकते हैं।

## पूर्व-आवश्यकताएँ

साथ चलते रहने के लिए, आपको चाहिए:

* एक [Roboflow खाता](https://app.roboflow.com) और Workflows तथा Evals की पहुँच वाला एक Workspace।
* टेस्ट छवियाँ और प्रत्येक छवि के लिए आपने जो गिनती जाँची है।
* एक agent जो जुड़ा हो [Roboflow MCP Server](https://docs.roboflow.com/agents/mcp-server)से। इस उदाहरण में मैं Claude का उपयोग करता हूँ।
* उन models तक पहुँच जिन्हें आप तुलना करना चाहते हैं, जिनमें उनके Blocks को जिन credentials की आवश्यकता हो, वे भी शामिल हैं।

समीक्षा [Workflow Evals credits](https://docs.roboflow.com/workflows/hi/evaluate/workflow-evals.md#credits) Runs शुरू करने से पहले। Evaluation और inference charges अलग-अलग होते हैं।

## बोल्टों की गिनती

कल्पना करें कि मेरे workbench के ऊपर एक camera है और मैं गिनना चाहता हूँ कि plastic container में कितने bolts बचे हैं। मैं अपना खुद का fine-tuned model train नहीं करना चाहता। मैं बस एक Workflow के अंदर एक तैयार-उपलब्ध model चाहता हूँ जो bolt count लौटाए। मैं Roboflow Playground का उपयोग करके अलग-अलग models के विरुद्ध एक या दो images test कर सकता हूँ, लेकिन Workflow Evals मुझे images के उसी set को कई Workflows से चलाने और उनके परिणामों की तुलना करने देता है।

![वर्कबेंच पर प्लास्टिक कंटेनर में ढीले बोल्टों का ऊपर से लिया गया कैमरा दृश्य](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-c1a8a068be3214d95bd013643945cf1aa4bfc718%2Fworkflow-evals-bolts-example.jpg?alt=media)

{% hint style="info" %}
स्क्रीनशॉट मूल "screw" labels और `screw_count` field को बनाए रखते हैं। ये इस ट्यूटोरियल में bolts और `bolt_count` उदाहरणों से संबंधित हैं। बातचीत को उसी bolt terminology का उपयोग करने के लिए संपादित किया गया है।
{% endhint %}

## Baseline Workflow

एक [Workflow](https://docs.roboflow.com/workflows/hi/build/create-a-workflow.md) से शुरू करें जो एक `image` input स्वीकार करता हो और एक संख्यात्मक `bolt_count` output प्रदर्शित करता हो। मेरा baseline instances खोजने के लिए SAM3 का उपयोग करता है, फिर `SequenceLength` ऑपरेशन वाला एक Property Definition Block predictions की गिनती करने के लिए। प्रत्येक candidate को वही image स्वीकार करनी चाहिए और अपनी count `bolt_count` के माध्यम से लौटानी चाहिए ताकि Eval उनकी तुलना कर सके।

LLM candidates के लिए, मैं यह साझा prompt उपयोग करता हूँ, फिर Workflow output के रूप में `bolt_count` निकालने के लिए एक JSON Parser Block का उपयोग करता हूँ:

```
इस छवि में दिखाई देने वाले हर अलग-अलग bolt की गिनती बिल्कुल एक बार करें। किसी भी bolt की दो बार गिनती न करें। केवल JSON में, ठीक इसी रूप में उत्तर दें: {"bolt_count": <integer>}
```

अपने agent से कहें कि उपलब्ध Block schemas की जाँच करे और चलाने से पहले हर Workflow को validate करे। candidates के बीच counting task और output contract एक जैसा रखें।

## ग्राउंड ट्रुथ

शुरू करने के लिए, मैंने एक ground truth Dataset बनाया। इस ट्यूटोरियल के लिए, मैंने instance segmentation के लिए Auto Label का उपयोग करके पाँच images label कीं, फिर प्रत्येक image में bolts की गिनती की और उन्हें हाथ से confirm किया। मेरे ground truth में प्रति image 9 से 11 bolts दिखे। हर image एक Case है जिसमें एक input और ज्ञात सही उत्तर हैं।

अपना Eval बनाने के लिए, अपने Workspace में "Workflows" खोलें, "Evals" चुनें, और "Create Eval" पर क्लिक करें। "Select Workflow" में baseline चुनें, "Upload Ground Truth" में अपनी images जोड़ें, और प्रत्येक image की अपेक्षित `bolt_count` "Label Ground Truth" में दर्ज करें। आप mask annotations रख सकते हैं, लेकिन यह तुलना केवल count को स्कोर करती है।

यह tempting होता है कि इस चरण को पूरी तरह किसी agent के हवाले कर दिया जाए। ऐसा न करें। यहीं आप सफलता को परिभाषित करते हैं और वह मानक सेट करते हैं जिसे agent पूरा करने की कोशिश करेगा। Auto Label जैसे tools का उपयोग करें, लेकिन उनके परिणामों की सावधानी से समीक्षा करें। यहीं मैं मानव ध्यान लगाता हूँ ताकि बाकी जगह समय बचा सकूँ।

![एक ground truth editor जिसमें एक image, अपेक्षित bolt count, और labeled masks हैं](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-1f36722b46b9c4a38a4ef19ddbb94ff856d6f9aa%2Fworkflow-evals-bolts-ground-truth.gif?alt=media)

## Checks

इसके बाद, मैंने Checks के माध्यम से अपेक्षाएँ निर्धारित कीं। Workflows JSON outputs लौटाते हैं, और एक Check evaluator का उपयोग करके चुने गए output की उसकी ground truth से तुलना करता है। उदाहरण के लिए, यदि कोई Workflow लौटाता है `pass_or_fail`तो मैं जाँच सकता हूँ कि कुछ Cases लौटाएँ `true` और अन्य लौटाएँ `false`. इस उदाहरण में, मैं जाँचता हूँ कि bolt count अपेक्षित count से मेल खाता है।

"Define Eval Checks" में, `bolt_count` के लिए numeric evaluator चुनें

और "Matches ground truth exactly" चुनें। कोई Case तभी pass करता है जब उसकी count बिल्कुल मेल खाती हो। फिर "Run Evaluation" पर आगे बढ़ें, setup और credit estimate की समीक्षा करें, और baseline Run शुरू करें।

![अपेक्षित bolt count से शून्य अंतर वाला exact-count Check परिभाषित करना](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-c88885e6851cf37ba8f32e5e6aaddd559535ea33%2Fworkflow-evals-bolts-define-checks.gif?alt=media)

## Agent बातचीत

अब जब आपके पास सावधानी से परिभाषित success criteria का set है, तो आप agents का उपयोग करके दर्जनों Workflows बना सकते हैं और उन्हें अपने benchmark के विरुद्ध score कर सकते हैं। Roboflow MCP Server का उपयोग करते हुए, मैंने Claude से कहा कि वह मेरा Eval ढूँढे, उपलब्ध models की सूची बनाए जो कार्य पूरा कर सकते हों, और ऐसे Workflows बनाए ताकि पता चल सके कि कौन-सा सबसे अच्छा score करता है।

अपने agent से यह करने के लिए कहने से पहले, उससे `workflow_evals_agent_manifest` और Workflow Evals guidance लोड करवाएँ, जैसा कि [MCP instructions](https://docs.roboflow.com/workflows/hi/evaluate/workflow-evals.md#mcp).

में वर्णित है।

> मैं: मेरे लिए एक योजना बनाइए: मैं उन सबसे अच्छे तैयार-उपलब्ध models को खोजना चाहता हूँ, जिन्हें एक Workflow में लागू किया गया हो, उस Eval के लिए जो मैंने बनाया है। Workflows के लिए एक योजना बनाइए कि कौन-कौन से Workflows बनाए जाएँ और उन्हें Eval के विरुद्ध कैसे test किया जाए।

> Claude: मैंने पहले baseline Run देखा। SAM3 5 में से 0 images पास करता है। यह हर बार लगभग 4 bolts प्रति image के हिसाब से over-count करता है, लेकिन इसके masks का score 0.91 mIoU है। पाँच images models को अच्छी तरह अलग करने के लिए भी बहुत कम हैं।
>
> उपयोग किए गए tools: `workflow_evals_specs_get`, `workflow_evals_datasets_get`, `workflow_evals_runs_list`, `workflow_evals_evaluators_list`, `workflow_evals_executions_list`, `workflow_evals_results_overview`

> मैं: ठीक है, मेरे पास और images नहीं हैं, लेकिन आप मौजूदा Eval को edit कर सकते हैं ताकि वह bounding boxes या masks के बजाय केवल bolts की count जाँचे।

> Claude: हो गया। अब Eval में एक Check है, "Bolt count matches annotation", जो exact match की माँग करता है।
>
> SAM3 का उच्च mask score और उसका over-count यह संकेत देता है कि एक ही bolt की duplicate instances हो सकती हैं। अगर यही कारण है, तो नया model जोड़ने के बिना confidence threshold मदद कर सकता है। इसे पुष्टि करने के लिए individual Cases की जाँच करें।
>
> संशोधित योजना:
>
> * A. LLMs: Claude, OpenAI, Gemini, Qwen, Kimi, Grok. JSON लौटाने के लिए prompt करें, जिसमें एक संख्यात्मक `bolt_count`.
> * B. Grounding models: Florence-2, YOLO-World. detections की गिनती करें।
> * C. SAM3 fixes: baseline plus higher confidence thresholds. filtered predictions की गिनती करें।
>
> फिर: एक Case पर प्रत्येक Workflow का smoke test करें, सभी पाँच Cases पर सभी को चलाएँ, और LLM Runs को कुल तीन बार दोहराएँ। पाँच images के साथ, run-to-run noise अन्यथा ranking तय कर सकती है। औसत count error, फिर bias, फिर exact matches, फिर latency के आधार पर rank करें। परिणाम को एक screen समझें, अंतिम निर्णय नहीं।
>
> उपयोग किए गए tools: `workflow_evals_specs_validate`, `workflow_evals_specs_update`, `workflow_evals_get`, `workflow_evals_bindings_validate`, `workflow_evals_update`

> मैं: ठीक है, योजना को Roboflow में लागू करें। मैं Eval में और images नहीं जोड़ रहा हूँ; मैंने पुष्टि कर ली है कि ground truth सही है। मैं इस कार्य के लिए सबसे अच्छा model खोजना चाहता हूँ। Workflows बनाइए, Eval को उन सभी पर चलाइए, और मुझे बताइए कि कौन-से LLMs Eval पर सबसे अच्छा score करते हैं।

> Claude: मैं पहले SAM3 की image-दर-image misses और Block schemas जाँचूँगा, फिर Workflows बनाऊँगा, हर एक को validate और smoke-test करूँगा, और फिर उन सभी को Eval के विरुद्ध चलाऊँगा।
>
> उपयोग किए गए tools: `workflow_blocks_get_schema` x12, `workflow_specs_validate` x9, `workflows_create` x17, `workflow_evals_runs_start` x4, `workflow_evals_runs_get` x13, `workflow_evals_runs_retry_failed` x3, `workflows_update` x1, `workflow_evals_results_overview` x43, और कुछ और।

इसी दौरान, Kimi smoke test पर tokens से बाहर हो गया। Claude ने अपना `max_tokens` 8192 तक बढ़ाया और फिर से चलाया।

Claude ने 17 नए Workflows बनाए: 12 LLM candidates, दो grounding models, और SAM3 के तीन confidence variants। मेरे मौजूदा SAM3 baseline के साथ, कुल 18 Workflows हो गए। पहला Run एक-Case smoke test था, उसके बाद पाँच Cases पर एक full Run, फिर 12 LLM candidates के लिए दो repeat Runs।

![Claude द्वारा बनाए गए 17 bolt-counting Workflows, प्रत्येक model या setting के लिए एक](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-2e970f4c41e40495d869f3fd003c1f10aae552cd%2Fworkflow-evals-bolts-created-workflows.png?alt=media)

![चार Eval Runs जो smoke test, full comparison, और दो LLM repeat Runs दिखाते हैं](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-b44dd181b564bc57e4f45093a5fa40e53be0c26a%2Fworkflow-evals-bolts-agent-runs.png?alt=media)

## परिणाम

12 LLM candidates में से प्रत्येक को उसी पाँच images पर तीन बार चलाया गया, जिससे प्रति model 15 trials हुए। ये दोहराए गए trials हैं, 15 अलग-अलग test images नहीं। Exact matches उन trials की गिनती है जिनमें prediction ground truth के बराबर है। Average count error अपेक्षित count से औसत absolute difference है, जिसे bolts में मापा गया है।

ये इस उदाहरण के लिए रिपोर्ट किए गए परिणाम हैं। ये यहाँ परीक्षण किए गए models और settings का वर्णन करते हैं, न कि अन्य कार्यों के लिए एक सामान्य ranking या वर्तमान में उपलब्ध models की सूची।

<table data-search="false"><thead><tr><th>मॉडल</th><th>15 में से exact matches</th><th>औसत count error</th><th>औसत latency</th></tr></thead><tbody><tr><td>Gemini 3.1 Pro</td><td>12</td><td>0.20</td><td>6.4 s</td></tr><tr><td>Claude Sonnet 5.5</td><td>9</td><td>0.60</td><td>3.6 s</td></tr><tr><td>Gemini 3.8 Flash</td><td>9</td><td>0.73</td><td>24.6 s</td></tr><tr><td>Claude Opus 5.5</td><td>8</td><td>0.80</td><td>4.1 s</td></tr><tr><td>Qwen 3.7 Plus</td><td>8</td><td>1.00</td><td>3.3 s</td></tr><tr><td>Claude Haiku 5.5</td><td>7</td><td>0.67</td><td>3.1 s</td></tr><tr><td>Qwen 3.8 Max</td><td>7</td><td>0.93</td><td>12.8 s</td></tr><tr><td>Claude Fable 5.1</td><td>6</td><td>0.75</td><td>3.4 s</td></tr><tr><td>Grok 4.7</td><td>6</td><td>1.07</td><td>27.8 s</td></tr><tr><td>GPT 6.1 Sol</td><td>4</td><td>0.73</td><td>13.0 s</td></tr><tr><td>GPT 5.5</td><td>4</td><td>1.47</td><td>18.6 s</td></tr><tr><td>Kimi K2.6</td><td>3</td><td>1.40</td><td>32.7 s</td></tr></tbody></table>

{% hint style="info" %}
Claude Fable ने अपनी 15 trials में से 3 पर अमान्य outputs दिए। इसके exact-match total में सभी 15 trials शामिल हैं, लेकिन इसका average count error केवल 12 वैध outputs का उपयोग करता है। candidates की तुलना करते समय accuracy के साथ-साथ अमान्य outputs की भी समीक्षा करें।
{% endhint %}

मुझे हल्की-सी हैरानी हुई, Claude ने Gemini 3.1 Pro की सिफारिश की: इस तुलना में इसके सबसे अधिक exact matches थे और average count error सबसे कम था। हालांकि, इसकी average latency 6.4 seconds थी, इसलिए मैं जल्द ही इस कार्य के लिए production में इसका उपयोग नहीं करूँगा। Review [Eval latency कैसे मापी जाती है](https://docs.roboflow.com/workflows/hi/evaluate/workflow-evals.md#latency) जब गति और सटीकता के बीच चुन रहे हों; इसमें केवल model inference time से अधिक चीज़ें शामिल होती हैं।

Eval चलाने के बाद, Claude ने यह विश्लेषण भी दिया:

* SAM3 baseline over-count करता है, संभवतः duplicate instances के कारण। यह एक परिकल्पना है जिसे individual Cases में जाँचना चाहिए।
* confidence 0.7 पर SAM3 की average count error 0.6 है और प्रति image लगभग 1.2 seconds latency है, जिससे यह इस उदाहरण में Claude Sonnet के साथ प्रतिस्पर्धी बनता है। SAM3 पाँच Cases पर एक बार चला; LLM results तीन Runs को मिलाते हैं।
* YOLO-World और Florence-2 इस उदाहरण में under-count करते हैं।

Workflows की तुलना करने और individual failures की जाँच के लिए "Overview" का उपयोग करें, और scores की तुलना के लिए "Metrics" का उपयोग करें। पाँच images एक छोटा test set हैं। production के लिए model चुनने से पहले, नई images पर परिणामों की पुष्टि करें जो आपकी अपेक्षित परिस्थितियों को कवर करती हों।

![Eval results जो प्रत्येक Workflow की ground truth से तुलना और per-Case outcomes दिखाते हैं](https://4229620234-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-b48086b6663239ef71aaea5f23fe59f33ee39a91%2Fworkflow-evals-bolts-results-overview.gif?alt=media)

## आगे की tuning

अब जब मेरे पास एक ऐसा Eval set है जिसकी मैंने समीक्षा कर ली है, मैं Workflows बनाने और experiment design के हफ्तों को 30 मिनट के prompting और समीक्षा में समेट सकता हूँ। मैं अग्रणी candidates पर और अधिक केंद्रित सुधार भी आज़मा सकता हूँ।

> क्या आप उसी Eval का उपयोग करके Gemini 3.1 Pro बनाम Claude Sonnet 5.5 को temperature या thinking level जैसे अलग-अलग model-level settings पर test कर सकते हैं? मुझे यकीन नहीं है कि प्रत्येक model के लिए कौन-से options उपलब्ध हैं। मैं सबसे अच्छा Eval outcome चाहता हूँ, और चाहता हूँ कि हर model अपने सर्वोत्तम प्रदर्शन पर चले। अधिक Evals चलाने, अधिक Workflows बनाने, या पहले से बनाए Workflows को edit करने के लिए स्वतंत्र महसूस करें।

इस follow-up में, Claude ने सात नए Workflows बनाए और Eval को पाँच बार और चलाया, फिर परिणामों का विश्लेषण किया।

Claude ने ऐसे insights बताए जैसे "Gemini: चारों settings एक-दूसरे के शोर की सीमा के भीतर हैं" और "Sonnet: Extended thinking ने इसे और खराब कर दिया, और temperature 0 तथा बड़ा image size कुछ नहीं कर पाए।" इस उदाहरण के आधार पर, मैं इस कार्य पर आगे की testing के लिए Gemini 3.1 Pro से खुश हूँ। वे tuning observations उन्हीं पाँच images से आते हैं; उन्हें अभी भी नई images पर पुष्टि की ज़रूरत है।

## अगले कदम

Workflow Evals Web App, CLI, HTTP API, Python SDK, और MCP के माध्यम से उपलब्ध है। जब आपके पास ground truth और Checks हों, तो आपका agent बेहतर Workflow खोज सकता है और regressions की जाँच कर सकता है।

अपने agent के साथ ये छोटे prompts उपयोग करें:

> मेरे bolt-count Eval पर उपलब्ध models की तुलना करने के लिए Workflows की योजना बनाइए।

> पहले एक Case test करें, फिर प्रति model सभी Cases को तीन बार चलाएँ।

> परिणामों को count error, exact matches, latency, और cost के आधार पर rank करें।

> शीर्ष candidates को tune करें, फिर नई images पर test करें।
