For the complete documentation index, see llms.txt. This page is also available as Markdown.

Workflow Evals でモデルを比較

Workflow Evals、レビュー済みの正解データ、および Roboflow MCP Server に接続されたエージェントを使用して、ボルト数を数えるタスクでモデルを比較します。

このチュートリアルでは、私は Workflow Evals を使って、私のテスト画像で既製モデルのうちどれがボルト数を最も正確に数えられるかを調べます。同じ手順をたどれます。正解データを定義し、Checks を設定し、エージェントに候補 Workflow の構築と比較をさせます。

Workflow Evals はモデル評価のようなものですが、モデルの予測だけでなくもっと多くを確認できます。カウント、変換後の予測、その他の Workflow 出力を期待値と照合して評価できます。

前提条件

以下が必要です。

  • 1つの Roboflowアカウント と、Workflows と Evals にアクセスできる Workspace。

  • テスト画像と、各画像について確認済みのカウント。

  • 次に接続されたエージェント Roboflow MCP Server が必要です。この例では Claude を使います。

  • Blocks が必要とする認証情報を含め、比較したいモデルへのアクセス。

確認 Workflow Evals クレジット を確認してから Run を開始してください。評価と推論の料金は別です。

ボルトの数を数える

作業台の上のカメラがあり、プラスチック容器にあといくつボルトが残っているか数えたいとします。自分で微調整したモデルを学習させたいわけではありません。Workflow 内の既製モデルに、ボルト数を返してほしいだけです。Roboflow Playground を使えば、1〜2枚の画像で異なるモデルを試せますが、Workflow Evals を使えば同じ画像セットを複数の Workflow に通して結果を比較できます。

作業台上のプラスチック容器に入ったばらばらのボルトを見下ろしたカメラ画像

スクリーンショットでは元の「screw」ラベルと screw_count フィールドが保持されています。これらはこのチュートリアルのボルトと bolt_count の例に対応します。会話は同じボルトの用語を使うように編集されています。

ベースライン Workflow

まずは Workflow で、 画像 入力を受け取り、数値の bolt_count 出力を公開するものにします。私のベースラインでは SAM3 を使ってインスタンスを検出し、その後 Property Definition Block と SequenceLength オペレーションで予測数を数えます。各候補は同じ画像を受け取り、 bolt_count でそのカウントを返す必要があるため、Eval が比較できます。

LLM 候補には、この共通プロンプトを使い、続けて JSON Parser Block で bolt_count を Workflow の出力として抽出します:

エージェントには、利用可能な Block スキーマを確認し、実行前に各 Workflow を検証させてください。カウントタスクと出力契約は候補間で同じに保ちます。

正解データ

まず、正解データの Dataset を作成しました。このチュートリアルでは、インスタンスセグメンテーション用の Auto Label を使って5枚の画像にラベルを付け、その後、各画像のボルト数を手作業で数えて確認しました。私の正解データでは、各画像のボルト数は9〜11個でした。各画像は、入力と既知の正解を持つ Case です。

Eval を作成するには、Workspace で「Workflows」を開き、「Evals」を選び、「Create Eval」をクリックします。「Select Workflow」でベースラインを選び、「Upload Ground Truth」に画像を追加し、各画像の期待値を bolt_count 「Label Ground Truth」に入力します。マスク注釈は保持できますが、この比較ではカウントのみを採点します。

この手順を全面的にエージェントに任せたくなるかもしれません。やめてください。ここで成功条件を定義し、エージェントが満たそうとする基準を設定します。Auto Label のようなツールは使って構いませんが、結果は必ず注意深く確認してください。私はここに人間の注意を注ぎ、別の場所で時間を節約します。

画像、期待されるボルト数、ラベル付きマスクを含む正解データエディタ

Checks

次に、Checks を通じて期待条件を設定しました。Workflows は JSON 出力を返し、Check は評価器を使って選択した出力を正解データと照合します。たとえば、ある Workflow が pass_or_failを返すなら、いくつかの Case が true を返し、別の Case が falseを返すことを確認できます。この例では、ボルト数が期待数と一致することを確認します。

「Define Eval Checks」では、 bolt_count 用の数値評価器を選び、「Matches ground truth exactly」を選択します。カウントが完全一致した場合にのみ Case は合格します。次に「Run Evaluation」に進み、設定とクレジット見積もりを確認して、ベースライン Run を開始します。

他の Check では、数値の許容誤差を認めたり、検出結果と注釈を比較したりできます。ただ、この例では厳密なカウントに固定し、LLM や検出を返すモデルも、全員にマスク出力を要求せずに比較できるようにしています。

期待されるボルト数との差を0にした、厳密一致の Check を定義する

エージェントとの会話

成功基準を丁寧に定義できたので、エージェントを使って何十もの Workflow を構築し、ベンチマークに対して採点できます。Roboflow MCP Server を使って、Claude に私の Eval を見つけさせ、タスクを完了できる利用可能なモデルを列挙させ、どれが最も高得点かを調べる Workflow を作成させました。

エージェントにこれを依頼する前に、 workflow_evals_agent_manifest と Workflow Evals のガイダンスを読み込ませてください。これは MCP instructions.

以下は、Claude が使うことを選んだツール呼び出しを含む、少し編集した会話です。

私: 私のために計画を作ってください。作成済みの Eval に対して、Workflow として実装した既製モデルの中で最良のものを見つけたいです。作成すべき Workflow と、それらを Eval に対してどうテストするかの計画を立ててください。

Claude: まずベースライン Run を確認しました。SAM3 は5枚中0枚で合格です。毎回約4個ずつボルトを多く数えていますが、マスクは 0.91 mIoU です。5枚ではモデルの差を十分に分けるには少なすぎます。

使用したツール: workflow_evals_specs_get, workflow_evals_datasets_get, workflow_evals_runs_list, workflow_evals_evaluators_list, workflow_evals_executions_list, workflow_evals_results_overview

私: 了解です。画像はこれ以上ありませんが、既存の Eval を編集して、バウンディングボックスやマスクではなくボルト数だけをチェックするようにできます。

Claude: 完了しました。Eval には今、1つの Check「Bolt count matches annotation」があり、完全一致が必要です。

SAM3 の高いマスクスコアと過剰カウントは、同じボルトの重複インスタンスを示唆しています。もしそれが原因なら、新しいモデルなしでも信頼度しきい値で改善できるかもしれません。個々の Case を調べて確認してください。

修正版の計画:

  • A. LLM: Claude、OpenAI、Gemini、Qwen、Kimi、Grok。数値の bolt_count.

  • B. Grounding モデル: Florence-2、YOLO-World。検出結果を数える。

  • C. SAM3 の修正: ベースラインに加え、より高い信頼度しきい値。絞り込んだ予測を数える。

その後: 各 Workflow を1つの Case でスモークテストし、5つの Case 全てで実行し、さらに LLM Run を合計3回繰り返します。画像が5枚しかないため、Run ごとのばらつきで順位が決まってしまう可能性があります。順位は平均カウント誤差、次に偏り、次に完全一致数、次にレイテンシで付けます。結果は最終判定ではなく、絞り込みとして扱います。

使用したツール: workflow_evals_specs_validate, workflow_evals_specs_update, workflow_evals_get, workflow_evals_bindings_validate, workflow_evals_update

私: 了解です。Roboflow で計画を実行してください。Eval に画像をこれ以上追加しません。正解データが正しいことは確認済みです。私はこのタスクに最適なモデルを見つけたいです。Workflow を作成し、すべてに対して Eval を実行し、どの LLM が Eval で最良スコアを達成するか教えてください。

Claude: SAM3 の画像ごとの見落としと Block スキーマを確認してから、Workflow を構築し、それぞれを検証してスモークテストし、すべて Eval にかけます。

使用したツール: workflow_blocks_get_schema x12, workflow_specs_validate x9, workflows_create x17, workflow_evals_runs_start x4, workflow_evals_runs_get x13, workflow_evals_runs_retry_failed x3, workflows_update x1, workflow_evals_results_overview x43、そのほかいくつか。

途中で、Kimi はスモークテストでトークン切れになりました。Claude は max_tokens を8192に増やして、もう一度実行しました。

Claude は17個の新しい Workflow を生成しました。LLM 候補が12個、Grounding モデルが2個、SAM3 の信頼度バリアントが3個です。既存の SAM3 ベースラインを含めると、合計18個の Workflow になります。最初の Run は1 Case のスモークテスト、その後に5 Case での全体 Run、そして LLM 候補12個に対する2回の繰り返し Run でした。

Claude が作成した17個のボルト数カウント Workflow。モデルまたは設定ごとに1つ
スモークテスト、全体比較、2回の LLM 繰り返し Run を示す4つの Eval Run

結果

12個の LLM 候補は同じ5枚の画像でそれぞれ3回実行され、モデルごとに15回の試行になりました。これは繰り返し試行であって、15枚の異なるテスト画像ではありません。完全一致は、予測が正解データと一致した試行の数です。平均カウント誤差は、期待数との差の絶対値の平均で、ボルト単位で測ります。

これはこの例で報告された結果です。ここでテストしたモデルと設定を示すものであり、他のタスクに対する一般的なランキングや、現在利用可能なモデル一覧ではありません。

モデル
15回中の完全一致数
平均カウント誤差
平均レイテンシ

Gemini 3.1 Pro

12

0.20

6.4秒

Claude Sonnet 5.5

9

0.60

3.6秒

Gemini 3.8 Flash

9

0.73

24.6秒

Claude Opus 5.5

8

0.80

4.1秒

Qwen 3.7 Plus

8

1.00

3.3秒

Claude Haiku 5.5

7

0.67

3.1秒

Qwen 3.8 Max

7

0.93

12.8秒

Claude Fable 5.1

6

0.75

3.4秒

Grok 4.7

6

1.07

27.8秒

GPT 6.1 Sol

4

0.73

13.0秒

GPT 5.5

4

1.47

18.6秒

Kimi K2.6

3

1.40

32.7秒

Claude Fable は15回の試行のうち3回で無効な出力を返しました。完全一致の合計には15回すべてを含めていますが、平均カウント誤差は12件の有効出力のみを使って計算しています。候補を比較する際は、無効な出力も精度とあわせて確認してください。

少し意外でしたが、Claude は Gemini 3.1 Pro を推奨しました。この比較では完全一致数が最も多く、平均カウント誤差も最小だったからです。ただし平均レイテンシは6.4秒だったので、このタスクで本番に使うことは当面ありません。確認 Eval のレイテンシがどのように測定されるか 速度と精度のどちらを選ぶかを決める際には重要です。モデルの推論時間だけではありません。

Eval を実行した後、Claude は次の分析も提示しました:

  • SAM3 のベースラインは、重複インスタンスが原因かもしれない過剰カウントをしています。これは個々の Case で確認すべき仮説です。

  • 信頼度0.7の SAM3 は平均カウント誤差0.6、画像1枚あたり約1.2秒のレイテンシで、この例では Claude Sonnet と競合しています。SAM3 は5 Case 全体に対して1回実行されましたが、LLM の結果は3回の Run をまとめています。

  • YOLO-World と Florence-2 は、この例では少なめに数えています。

「Overview」で Workflow を比較し、個々の失敗を確認し、「Metrics」でスコアを比較してください。5枚の画像は小さなテストセットです。本番用にモデルを選ぶ前に、想定条件をカバーする新しい画像で結果を確認してください。

各 Workflow を正解データと比較し、Case ごとの結果を示す Eval 結果

さらなる調整

確認済みの Eval セットができたので、数週間かかる Workflow 作成と実験設計を、30分のプロンプト作成と確認に圧縮できます。さらに、先頭候補に対してより集中した改善も試せます。

同じ Eval を使って、Gemini 3.1 Pro と Claude Sonnet 5.5 を temperature や thinking level などのモデルレベル設定ごとにテストできますか?各モデルで利用できるオプションが何か、私はよくわかっていません。私は Eval の結果を最良にしたいし、各モデルには最良の状態で動いてほしいです。必要なら追加の Evals を実行し、追加の Workflows を作成し、または既に作成した Workflows を編集してください。

この続きでは、Claude が7つの新しい Workflow を作成し、Eval をさらに5回実行してから結果を分析しました。

Claude は「Gemini: 4つの設定は互いにノイズの範囲内です」や「Sonnet: 拡張思考は悪化させ、temperature 0 とより大きい画像サイズは何の効果もありません」といった洞察を報告しました。この例では、このタスクのさらなるテストには Gemini 3.1 Pro で十分満足しています。これらの調整に関する観察は同じ5枚の画像に基づくもので、新しい画像での確認はまだ必要です。

次のステップ

Workflow Evals は Web App、CLI、HTTP API、Python SDK、MCP から利用できます。正解データと Checks があれば、エージェントはより良い Workflow を探し、回帰を確認できます。

エージェントには次の短いプロンプトを使ってください。

利用可能なモデルを私のボルト数カウント Eval で比較する Workflow を計画してください。

まず1つの Case をテストし、その後、モデルごとに全 Case を3回実行してください。

結果はカウント誤差、完全一致数、レイテンシ、コストで順位付けしてください。

上位候補を調整し、その後、新しい画像でテストしてください。

最終更新

役に立ちましたか?