> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/workflows/ko/tutorials/compare-models-with-workflow-evals.md).

# Workflow Evals로 모델 비교하기

Workflow Evals, 검토된 정답 데이터, 그리고 Roboflow MCP 서버에 연결된 에이전트를 사용해 볼트 개수 세기 작업에서 모델을 비교하세요.

이 튜토리얼에서는 [Workflow Evals를 사용해](https://docs.roboflow.com/workflows/ko/evaluate/workflow-evals.md) 내 테스트 이미지에서 볼트를 가장 정확하게 세는 기성 모델이 무엇인지 찾습니다. 여러분도 같은 과정을 따라 할 수 있습니다. 정답을 정의하고, 체크를 설정한 뒤, 에이전트에게 후보 Workflow를 만들고 비교하도록 요청하세요.

Workflow Evals는 모델 평가와 비슷하지만, 모델 예측 이상도 확인할 수 있습니다. 개수, 변환된 예측, 또는 다른 Workflow 출력값을 기대값과 비교해 평가할 수 있습니다.

## 사전 준비 사항

따라오려면 다음이 필요합니다:

* 하나의 [Roboflow 계정](https://app.roboflow.com) 과 Workflows 및 Evals에 접근할 수 있는 Workspace.
* 각 이미지에 대해 확인한 테스트 이미지와 개수.
* 연결된 에이전트 [Roboflow MCP Server](https://docs.roboflow.com/agents/mcp-server). 이 예시에서는 Claude를 사용합니다.
* 실행하려는 모델에 접근할 수 있어야 하며, 해당 Blocks에 필요한 인증 정보도 포함되어야 합니다.

검토 [Workflow Evals 크레딧](https://docs.roboflow.com/workflows/ko/evaluate/workflow-evals.md#credits) 을 Run을 시작하기 전에 확인하세요. 평가는 추론 요금과 별도입니다.

## 볼트 개수 세기

작업대 위 카메라가 있고, 플라스틱 용기 안에 남아 있는 볼트가 몇 개인지 세고 싶다고 해봅시다. 자체적으로 파인튜닝한 모델을 학습하고 싶지는 않습니다. 그냥 볼트 개수를 반환하는 Workflow 안의 기성 모델이 필요합니다. Roboflow Playground를 사용하면 서로 다른 모델에 대해 한두 장의 이미지를 테스트할 수 있지만, Workflow Evals를 사용하면 같은 이미지 세트를 여러 Workflow에 돌려보고 결과를 비교할 수 있습니다.

![작업대 위 플라스틱 용기에 흩어진 볼트의 상부 카메라 뷰](https://3843302164-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-c1a8a068be3214d95bd013643945cf1aa4bfc718%2Fworkflow-evals-bolts-example.jpg?alt=media)

{% hint style="info" %}
스크린샷에는 원래의 "screw" 레이블과 `screw_count` 필드가 그대로 유지되어 있습니다. 이는 이 튜토리얼의 볼트와 `bolt_count` 예시에 해당합니다. 대화는 같은 볼트 용어를 사용하도록 편집되었습니다.
{% endhint %}

## 기준 Workflow

다음으로 시작하세요. [Workflow](https://docs.roboflow.com/workflows/ko/build/create-a-workflow.md) 이미지를 `입력으로 받고 숫자형` 출력을 노출하는 `bolt_count` 제 기준 Workflow는 SAM3로 인스턴스를 찾은 다음, `SequenceLength` 연산이 있는 Property Definition Block으로 예측 개수를 셉니다. 각 후보는 동일한 이미지를 받아야 하며, 개수를 `bolt_count` 를 통해 반환해야 Eval이 비교할 수 있습니다.

LLM 후보의 경우, 아래의 공통 프롬프트를 사용하고, 그다음 JSON Parser Block으로 `bolt_count` 을 Workflow 출력으로 추출합니다:

```
이 이미지에서 보이는 모든 개별 볼트를 정확히 한 번씩 세세요. 어떤 볼트도 중복해서 세지 마세요. 반드시 다음 형식의 JSON만 응답하세요: {"bolt_count": <integer>}
```

에이전트에게 사용 가능한 Block 스키마를 확인하고, 실행하기 전에 각 Workflow를 검증하도록 요청하세요. 후보들 전반에 걸쳐 세기 작업과 출력 계약은 동일하게 유지하세요.

## 정답

시작하기 위해 정답 Dataset을 만들었습니다. 이 튜토리얼에서는 인스턴스 세그멘테이션용 Auto Label을 사용해 다섯 장의 이미지를 라벨링한 뒤, 각 이미지의 볼트 개수를 세고 수동으로 확인했습니다. 제 정답은 이미지당 9개에서 11개의 볼트를 보여주었습니다. 각 이미지는 입력과 알려진 정답을 가진 Case입니다.

Eval을 만들려면 Workspace에서 "Workflows"를 열고 "Evals"를 선택한 다음 "Create Eval"을 클릭하세요. "Select Workflow"에서 기준 Workflow를 고르고, "Upload Ground Truth"에 이미지를 추가한 뒤, 각 이미지의 예상 `bolt_count` 을 "Label Ground Truth"에 입력하세요. 마스크 주석은 유지할 수 있지만, 이 비교에서는 개수만 점수로 반영합니다.

이 단계를 에이전트에게 전적으로 맡기고 싶어질 수 있습니다. 하지만 그러지 마세요. 이곳이 성공 기준을 정의하고, 에이전트가 맞춰야 할 표준을 설정하는 지점입니다. Auto Label 같은 도구를 사용하되, 결과는 반드시 꼼꼼히 검토하세요. 저는 다른 곳에서 시간을 절약할 수 있도록 이 부분에 사람의 주의를 투자합니다.

![이미지, 예상 볼트 개수, 라벨링된 마스크가 있는 정답 편집기](https://3843302164-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-1f36722b46b9c4a38a4ef19ddbb94ff856d6f9aa%2Fworkflow-evals-bolts-ground-truth.gif?alt=media)

## 체크

다음으로, Checks를 통해 기대값을 설정했습니다. Workflows는 JSON 출력을 반환하고, Check는 평가자를 사용해 선택한 출력과 정답을 비교합니다. 예를 들어 Workflow가 `pass_or_fail`을 반환한다면, 일부 Case는 `true` 를 반환하고 다른 Case는 `false`를 반환하는지 확인할 수 있습니다. 이 예시에서는 볼트 개수가 예상 개수와 일치하는지 확인합니다.

"Define Eval Checks"에서 `bolt_count` 에 대한 숫자형 평가자를 선택하고 "Matches ground truth exactly"를 고르세요. Case는 개수가 정확히 일치할 때만 통과합니다. 그런 다음 "Run Evaluation"으로 이동해 설정과 크레딧 예상치를 검토한 뒤, 기준 Run을 시작하세요.

다른 Check는 숫자 허용 오차를 허용하거나 탐지 결과를 주석과 비교할 수 있습니다. 하지만 이 예시에서는 정확한 개수에만 집중하여, 모든 LLM과 탐지 결과를 반환하는 모델을 마스크를 요구하지 않고도 비교할 수 있게 합니다.

![예상 볼트 개수와 허용 차이가 0인 정확한 개수 Check 정의](https://3843302164-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-c88885e6851cf37ba8f32e5e6aaddd559535ea33%2Fworkflow-evals-bolts-define-checks.gif?alt=media)

## 에이전트 대화

이제 성공 기준을 신중하게 정의했으니, 에이전트를 사용해 수십 개의 Workflow를 만들고 벤치마크와 비교해 점수를 매길 수 있습니다. Roboflow MCP Server를 사용해 Claude에게 제 Eval을 찾고, 작업을 수행할 수 있는 사용 가능한 모델을 나열한 뒤, 어떤 것이 가장 좋은 점수를 내는지 확인할 Workflow를 만들라고 지시했습니다.

에이전트에게 이 작업을 요청하기 전에, `workflow_evals_agent_manifest` 와 Workflow Evals 가이드를 로드하도록 하세요. 이는 [MCP 지침](https://docs.roboflow.com/workflows/ko/evaluate/workflow-evals.md#mcp).

다음은 Claude가 선택한 도구 호출을 포함한, 약간 편집한 제 대화 내용입니다.

> 나: 계획을 세워줘. 내가 만든 Eval을 위해 Workflow로 구현된 최고의 기성 모델을 찾고 싶어. 만들 Workflow들과 그것들을 Eval과 어떻게 테스트할지에 대한 계획을 세워줘.

> Claude: 먼저 기준 Run을 살펴봤어요. SAM3는 5개 이미지 중 0개를 통과했습니다. 매번 약 4개 볼트씩 과대 계수하지만, 마스크 점수는 0.91 mIoU입니다. 또한 5개 이미지는 모델을 충분히 잘 구분하기엔 너무 적습니다.
>
> 호출된 도구: `workflow_evals_specs_get`, `workflow_evals_datasets_get`, `workflow_evals_runs_list`, `workflow_evals_evaluators_list`, `workflow_evals_executions_list`, `workflow_evals_results_overview`

> 나: 좋아, 이미지가 더는 없지만, 기존 Eval을 바꿔서 바운딩 박스나 마스크 대신 볼트 개수만 확인하게 할 수 있어.

> Claude: 완료했습니다. 이제 Eval에는 "Bolt count matches annotation"이라는 하나의 Check가 있으며, 정확히 일치해야 합니다.
>
> SAM3의 높은 마스크 점수와 과대 계수는 같은 볼트의 중복 인스턴스를 시사합니다. 그게 원인이라면 새 모델 없이도 신뢰도 임계값이 도움이 될 수 있습니다. 개별 Case를 살펴서 확인하세요.
>
> 수정된 계획:
>
> * A. LLM: Claude, OpenAI, Gemini, Qwen, Kimi, Grok. 숫자형 `bolt_count`.
> * 을 반환하는 JSON을 내보내도록 프롬프트합니다.
> * B. grounding 모델: Florence-2, YOLO-World. 탐지 결과를 셉니다.
>
> C. SAM3 수정: 기준선과 더 높은 신뢰도 임계값. 필터링된 예측을 셉니다.
>
> 호출된 도구: `그런 다음: 각 Workflow를 한 Case로 스모크 테스트하고, 다섯 Case 전체에서 모두 실행한 뒤, LLM Run은 총 세 번 반복하세요. 이미지가 5장뿐이므로, 그렇지 않으면 실행 간 노이즈가 순위를 결정할 수 있습니다. 평균 개수 오차, 그다음 편향, 그다음 정확히 일치한 횟수, 그다음 지연 시간으로 순위를 매기세요. 결과는 최종 판정이 아니라 선별 기준으로 보세요.`, `workflow_evals_specs_validate`, `workflow_evals_get`, `workflow_evals_bindings_validate`, `workflow_evals_update`

> 나: 좋아, Roboflow에서 계획을 실행해줘. Eval에 이미지를 더 추가하지는 않을게. 정답은 맞는 것으로 확인했어. 이 작업에 가장 적합한 모델을 찾고 싶어. Workflow를 만들고, 모든 Workflow에 대해 Eval을 실행한 다음, 어떤 LLM이 Eval에서 가장 좋은 점수를 얻는지 알려줘.

> Claude: 각 이미지별로 SAM3가 놓친 부분과 Block 스키마를 확인한 뒤, Workflow를 만들고, 각각을 검증 및 스모크 테스트한 다음, 전부 Eval에 대해 실행하겠습니다.
>
> 호출된 도구: `workflow_blocks_get_schema` x12, `workflow_specs_validate` x9, `workflows_create` x17, `workflow_evals_runs_start` x4, `workflow_evals_runs_get` x13, `workflow_evals_runs_retry_failed` x3, `workflows_update` x1, `workflow_evals_results_overview` x43, 그리고 그 외 몇 가지.

진행하는 동안 Kimi는 스모크 테스트에서 토큰이 바닥났습니다. Claude는 `max_tokens` 을 8192로 올리고 다시 실행했습니다.

Claude는 17개의 새로운 Workflow를 생성했습니다. 12개의 LLM 후보, 2개의 grounding 모델, 3개의 SAM3 신뢰도 변형입니다. 기존 SAM3 기준선과 합치면 총 18개의 Workflow가 되었습니다. 첫 Run은 한 Case로 하는 스모크 테스트였고, 그다음에는 5개 Case 전체에 대한 전체 Run, 그리고 12개 LLM 후보에 대해 두 번의 반복 Run이 이어졌습니다.

![Claude가 만든 17개의 볼트 계수 Workflow로, 모델 또는 설정별로 하나씩 구성됨](https://3843302164-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-2e970f4c41e40495d869f3fd003c1f10aae552cd%2Fworkflow-evals-bolts-created-workflows.png?alt=media)

![스모크 테스트, 전체 비교, 두 번의 LLM 반복 Run을 보여주는 4개의 Eval Run](https://3843302164-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-b44dd181b564bc57e4f45093a5fa40e53be0c26a%2Fworkflow-evals-bolts-agent-runs.png?alt=media)

## 결과

12개의 LLM 후보는 같은 5개 이미지에서 각각 세 번 실행되어, 모델당 15회 시험이 되었습니다. 이는 15개의 서로 다른 테스트 이미지가 아니라 반복 시험입니다. 정확히 일치한 횟수는 예측값이 정답과 같은 시험의 수를 의미합니다. 평균 개수 오차는 예상 개수와의 평균 절대 차이를 볼트 단위로 측정한 값입니다.

이는 이 예시에서 보고된 결과입니다. 다른 작업에 대한 일반적인 순위나 현재 사용 가능한 모델 목록이 아니라, 여기서 테스트한 모델과 설정을 설명합니다.

<table data-search="false"><thead><tr><th>모델</th><th>15회 중 정확히 일치한 횟수</th><th>평균 개수 오차</th><th>평균 지연 시간</th></tr></thead><tbody><tr><td>Gemini 3.1 Pro</td><td>12</td><td>0.20</td><td>6.4초</td></tr><tr><td>Claude Sonnet 5.5</td><td>9</td><td>0.60</td><td>3.6초</td></tr><tr><td>Gemini 3.8 Flash</td><td>9</td><td>0.73</td><td>24.6초</td></tr><tr><td>Claude Opus 5.5</td><td>8</td><td>0.80</td><td>4.1초</td></tr><tr><td>Qwen 3.7 Plus</td><td>8</td><td>1.00</td><td>3.3초</td></tr><tr><td>Claude Haiku 5.5</td><td>7</td><td>0.67</td><td>3.1초</td></tr><tr><td>Qwen 3.8 Max</td><td>7</td><td>0.93</td><td>12.8초</td></tr><tr><td>Claude Fable 5.1</td><td>6</td><td>0.75</td><td>3.4초</td></tr><tr><td>Grok 4.7</td><td>6</td><td>1.07</td><td>27.8초</td></tr><tr><td>GPT 6.1 Sol</td><td>4</td><td>0.73</td><td>13.0초</td></tr><tr><td>GPT 5.5</td><td>4</td><td>1.47</td><td>18.6초</td></tr><tr><td>Kimi K2.6</td><td>3</td><td>1.40</td><td>32.7초</td></tr></tbody></table>

{% hint style="info" %}
Claude Fable은 15회 시험 중 3회에서 잘못된 출력을 반환했습니다. 정확히 일치한 총합에는 15회 모두가 포함되지만, 평균 개수 오차는 유효한 12개 출력만 사용합니다. 후보를 비교할 때는 정확도와 함께 잘못된 출력도 함께 검토하세요.
{% endhint %}

약간 놀랍게도 Claude는 Gemini 3.1 Pro를 추천했습니다. 이 비교에서 가장 많은 정확 일치와 가장 낮은 평균 개수 오차를 보였기 때문입니다. 하지만 평균 지연 시간은 6.4초였으므로, 당분간 이 작업의 프로덕션에는 사용하지 않을 것입니다. 검토 [Eval 지연 시간이 측정되는 방식](https://docs.roboflow.com/workflows/ko/evaluate/workflow-evals.md#latency) 를 참고해 속도와 정확도 사이를 선택하세요. 여기에는 모델 추론 시간 이상의 요소가 포함됩니다.

Eval을 실행한 뒤 Claude는 다음과 같은 분석도 제공했습니다:

* SAM3 기준선은 과대 계수를 합니다. 중복 인스턴스 때문일 수 있습니다. 이는 개별 Case에서 확인해야 할 가설입니다.
* 신뢰도 0.7의 SAM3는 평균 개수 오차가 0.6이고 이미지당 약 1.2초의 지연 시간이 있어, 이 예시에서는 Claude Sonnet과 경쟁력이 있습니다. SAM3는 5개 Case 전체에 한 번 실행되었고, LLM 결과는 세 번의 Run을 합친 것입니다.
* YOLO-World와 Florence-2는 이 예시에서 과소 계수합니다.

"Overview"를 사용해 Workflow를 비교하고 개별 실패를 살펴보며, "Metrics"를 사용해 점수를 비교하세요. 이미지 5장은 작은 테스트 세트입니다. 프로덕션에 사용할 모델을 선택하기 전에, 예상 조건을 포함하는 새 이미지에서 결과를 확인하세요.

![각 Workflow를 정답과 비교하고 Case별 결과를 보여주는 Eval 결과](https://3843302164-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoO0Ceoy9R0lHDZATcPyh%2Fuploads%2Fgit-blob-b48086b6663239ef71aaea5f23fe59f33ee39a91%2Fworkflow-evals-bolts-results-overview.gif?alt=media)

## 추가 조정

이제 검토한 Eval 세트가 생겼으니, 몇 주 걸릴 Workflow 빌드와 실험 설계를 30분 정도의 프롬프트 작성과 검토로 압축할 수 있습니다. 선두 후보에 대해 더 집중된 개선도 시도할 수 있습니다.

> 같은 Eval을 사용해서 Gemini 3.1 Pro와 Claude Sonnet 5.5를 temperature나 thinking level 같은 모델 수준 설정별로 테스트할 수 있을까요? 각 모델에 어떤 옵션이 있는지 잘 모르겠습니다. 최고의 Eval 결과를 원하고, 각 모델이 최상의 성능을 내길 원합니다. 필요하면 더 많은 Evals를 실행하거나, 더 많은 Workflows를 만들거나, 이미 만든 Workflows를 수정해도 좋습니다.

이 후속 단계에서 Claude는 7개의 새로운 Workflow를 만들고 Eval을 5번 더 실행한 다음, 결과를 분석했습니다.

Claude는 "Gemini: 네 가지 설정이 서로 노이즈 범위 안에 있다"와 "Sonnet: 확장된 사고는 오히려 성능을 떨어뜨렸고, temperature 0과 더 큰 이미지 크기는 아무런 영향이 없었다" 같은 통찰을 보고했습니다. 이 예시를 기준으로는 이 작업의 추가 테스트용으로 Gemini 3.1 Pro가 마음에 듭니다. 이러한 조정 관찰은 같은 5개 이미지에서 나온 것이므로, 새 이미지에서 다시 확인해야 합니다.

## 다음 단계

Workflow Evals는 Web App, CLI, HTTP API, Python SDK, MCP를 통해 사용할 수 있습니다. 정답과 Checks가 준비되면, 에이전트가 더 나은 Workflow를 찾고 회귀를 점검할 수 있습니다.

에이전트에게 다음 짧은 프롬프트를 사용하세요:

> 내 볼트 개수 세기 Eval에서 사용 가능한 모델을 비교할 Workflow를 계획해줘.

> 먼저 한 Case를 테스트하고, 그다음 모델당 모든 Case를 세 번씩 실행해줘.

> 결과를 개수 오차, 정확 일치, 지연 시간, 비용 순으로 순위를 매겨줘.

> 상위 후보를 조정한 다음, 새 이미지에서 테스트해줘.
