> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/workflows/ja/burokku/blocks/advanced-blocks/vlm-as-detector.md).

# VLM As Detector

生の文字列をオブジェクト検出予測に変換します。

{% hint style="warning" %}
**非推奨**

非推奨: VLMブロックは現在、ブロック内で予測をデコードします。以下の `predictions` 最新の Anthropic Claude、OpenAI、Google Gemini、OpenRouter、Qwen-VL、Z.ai、Meta Muse、または SpaceXAI ブロックの出力を使用してください。
{% endhint %}

## v2

**非推奨。** VLMブロックは現在、ブロック内で検出をデコードします: 次の `predictions` このブロックでは生のテキストをルーティングする代わりに、最新の Anthropic Claude、OpenAI、Google Gemini、OpenRouter、Qwen-VL、Z.ai、Meta Muse、または SpaceXAI ブロックの出力を使用してください。

Visual Language Models (VLMs) および Large Language Models (LLMs) の JSON 文字列を、バウンディングボックス、クラス名、利用可能な信頼度スコアを抽出し、座標をピクセル座標に変換し、クラス名をクラス ID にマッピングし、複数のモデル種別とタスク形式を処理することで、標準化された物体検出予測形式へ解析し、VLM ベースの物体検出、LLM の検出解析、および テキストから検出への変換ワークフローを有効にします。

## このブロックの仕組み

このブロックは、物体検出予測を含む VLM/LLM のテキスト出力を、ワークフローの検出ブロックと互換性のある標準化された物体検出形式に変換します。このブロックは次の処理を行います:

1. 検出結果を含む JSON 形式の VLM 出力文字列と画像を受け取ります
2. VLM 出力から JSON コンテンツを解析します:

   **Markdown で囲まれた JSON を処理します:**

   * Markdown コードブロック内に囲まれた JSON を検索します (`json ...` )
   * この形式は LLM/VLM の応答で一般的です
   * 複数の Markdown JSON ブロックが見つかった場合、最初のブロックのみを解析します
   * Markdown タグ内の JSON コンテンツを抽出します

   **生の JSON 文字列を処理します:**

   * Markdown ブロックが見つからない場合、文字列全体を JSON として解析することを試みます
   * 標準的な JSON 形式の文字列をサポートします
3. モデル種別とタスク種別に基づいて適切なパーサーを選択します:
   * 異なるモデル出力を処理する登録済みパーサーを使用します (google-gemini、anthropic-claude、florence-2、openai)
   * 複数のタスク種別をサポートします: object-detection、open-vocabulary-object-detection、object-detection-and-caption、phrase-grounded-object-detection、region-proposal、ocr-with-text-detection
   * 各モデル/タスクの組み合わせは、その形式に特化したパーサーを使用します
4. モデル種別に基づいて検出データを解析します:

   **OpenAI/Gemini/Claude モデルの場合:**

   * 解析済み JSON から detections 配列を抽出します
   * 画像の寸法を使用して、正規化座標または絶対座標をピクセル座標に変換します
   * クラス名、利用可能な信頼度スコア、バウンディングボックス座標を抽出します
   * モデル形式が信頼度を提供しない場合は confidence を 1.0 に割り当てます。信頼度フィルタリングは、そのような検出では意味を持ちません
   * 提供された classes リストを使用してクラス名をクラス ID にマッピングします
   * バウンディングボックス、クラス、信頼度を含む検出オブジェクトを作成します

   **Florence-2 モデルの場合:**

   * supervision の組み込み LMM パーサーを Florence-2 形式に使用します
   * 特殊な解析でさまざまなタスク種別を処理します (物体検出、オープンボキャブラリ、領域提案、OCR など)
   * 領域提案タスクでは、"roi" をクラス名として割り当てます
   * オープンボキャブラリ検出では、クラス ID のマッピングに提供された classes リストを使用します
   * その他のタスクでは、MD5 ベースのクラス ID 生成または提供されたクラスを使用します
   * Florence-2 の検出では confidence を 1.0 に設定します (このモデルは信頼度を提供しません)
5. 座標を変換し、データを正規化します:
   * 正規化座標 (0-1) または アップロード画像のピクセル座標を、元画像のピクセル座標 (x\_min, y\_min, x\_max, y\_max) に変換します
   * 提供された信頼度スコアを有効範囲 \[0.0, 1.0] に正規化します
   * ソース形式が信頼度を提供しない場合は confidence を 1.0 に割り当てます
6. クラス名からクラス ID へのマッピングを作成します:
   * OpenAI/Gemini/Claude では、提供された classes リストを使用してインデックスマッピング (class\_name → class\_id) を作成します
   * クラスは順番にマッピングされます (1 番目のクラス = ID 0、2 番目 = ID 1、など)
   * 提供されたリストにないクラスは class\_id = -1 になります。モデルの元のラベルは class\_name として保持され、可視化ブロックはそれらの検出を中立的なグレーで描画します。
   * Florence-2 では、タスク種別に基づいて異なるマッピング戦略を使用します
7. 物体検出予測を構築します:
   * バウンディングボックス (xyxy 形式) を持つ supervision Detections オブジェクトを作成します
   * クラス ID、クラス名、信頼度スコアを含めます
   * メタデータを追加します: detection ID、inference ID、画像寸法、予測タイプ
   * crop を意識した検出のために親座標を添付します
   * 予測を標準の物体検出形式で整形します
8. エラーを処理します:
   * 設定します `error_status` JSON の解析に失敗した場合に True に
   * 設定します `error_status` 検出の解析に失敗した場合に True に
   * エラーが発生した場合、予測として None を返します
   * 追跡用に常に inference\_id を含めます
9. 物体検出予測を返します:
   * 標準の物体検出形式で出力します `predictions` (検出ブロックと互換)
   * 標準の物体検出形式で出力します `error_status` 解析の成功/失敗を示す
   * 標準の物体検出形式で出力します `inference_id` 追跡と来歴のために

このブロックにより、VLM/LLM のテキストベースの JSON 出力を標準化された検出予測へ変換することで、他の物体検出モデル出力と同様にワークフローで使用できるようになり、VLM/LLM を物体検出に利用できます。

## 一般的な使用例

* **VLM ベースの物体検出**: VLM 出力を検出予測に解析することで、物体検出に Visual Language Models を使用します (例: GPT-4V で物体を検出する、Claude Vision を検出に使う、Gemini の検出出力を解析する)。VLM 検出ワークフローを有効にします
* **オープンボキャブラリ検出**: カスタムクラスを使って VLM をオープンボキャブラリ物体検出に使用します (例: VLM でカスタム物体を検出する、オープンボキャブラリ検出を使用する、学習セットにない物体を検出する)。オープンボキャブラリ検出ワークフローを有効にします
* **マルチタスク検出**: さまざまな検出タスクに VLM を使用します (例: キャプション付き物体検出、フレーズ指向検出、領域提案、検出付き OCR)。マルチタスク検出ワークフローを有効にします
* **LLM の検出解析**: 検出結果を含む LLM テキスト出力を標準形式に解析します (例: GPT の検出出力を解析する、LLM の予測を検出形式に変換する、検出に LLM を使う)。LLM 検出ワークフローを有効にします
* **テキストから検出への変換**: モデルからのテキストベースの検出出力をワークフロー互換の検出予測に変換します (例: テキスト予測を検出形式に変換する、テキストベースの検出を解析する、モデル出力を検出に変換する)。テキストから検出へのワークフローを有効にします
* **VLM 統合**: VLM 出力を検出ワークフローに統合します (例: 検出パイプラインで VLM を使用する、VLM 予測を検出ブロックと統合する、VLM と従来の検出を組み合わせる)。VLM 統合ワークフローを有効にします

## 他のブロックへの接続

このブロックは画像と VLM 出力を受け取り、物体検出予測を生成します:

* **VLM/LLM ブロックの後** : 検出出力を標準形式に解析するため (例: VLM 出力を検出へ、LLM 出力を検出へ、モデル出力を解析する)。VLM から検出へのワークフローを有効にします
* **検出ベースのブロックの前** : 解析済み検出を使用するため (例: ワークフローで解析済み検出を使う、下流ブロックに検出を渡す、検出ブロックで VLM 検出を使う)。検出からワークフローへのワークフローを有効にします
* **フィルタリングブロックの前** : ソースモデルが信頼度スコアを提供する場合に、クラスまたは信頼度で VLM 検出をフィルタリングするため
* **分析ブロックの前** : VLM 検出結果を分析するため (例: VLM 検出を分析する、解析済み検出に対して分析を行う、VLM 検出メトリクスを追跡する)。検出分析ワークフローを有効にします
* **可視化ブロックの前** : VLM 検出結果を表示するため (例: VLM 検出を可視化する、解析済み検出予測を表示する、VLM 検出出力を表示する)。検出可視化ワークフローを有効にします
* **ワークフロー出力で** : VLM 検出を最終出力として提供するため (例: VLM 検出出力、解析済み検出結果、VLM ベースの検出出力)。検出出力ワークフローを有効にします

## バージョンの違い

v1 に対する v2 の強化点は次のとおりです:

* **改善された型システム**: この `inference_id` 出力は現在 `INFERENCE_ID_KIND` の代わりに `STRING_KIND`を使用し、ワークフロー システムにおける推論追跡識別子の型安全性と意味論を向上させます
* **OpenAI モデルのサポート**: Google Gemini、Anthropic Claude、Florence-2 モデルに加えて OpenAI モデルのサポートを追加し、物体検出に使用できる VLM/LLM モデルの範囲を拡大しました
* **強化された型安全性**: 改善された型システムにより、ワークフロー実行エンジンとの統合が向上し、推論追跡の意味がより明確になります

## 要件

このブロックは、メタデータと寸法のための画像入力と、JSON 検出データを含む VLM 出力文字列を必要とします。JSON は生の JSON でも、Markdown コードブロック (`json ...` ）。このブロックは 9 種類のモデルタイプをサポートします: "openai"、"google-gemini"、"anthropic-claude"、"spacexai"、"qwen"、"muse"、"zai"、"zai-flash"、"florence-2"。 `classes` パラメータは OpenAI、Gemini、Claude、SpaceXAI、Qwen、Muse、Z.ai モデルでは必須です（クラス名を ID にマッピングするため）が、Florence-2 では任意です（いくつかのタスクでは不要です）。クラスはインデックス順に ID へマッピングされます（1 番目のクラス = 0、2 番目 = 1、など）。リストにないクラスは class\_id = -1 になり、モデルの元のラベルは class\_name として保持され、可視化ブロックはそれらを中立的なグレーで描画します。ブロックは標準形式の物体検出予測（検出ブロックと互換）、error\_status（ブール値）、および追跡用の inference\_id（INFERENCE\_ID\_KIND）を出力します。

### タイプ識別子

ステップで次の識別子を使用してください `"type"` フィールド: `roboflow_core/vlm_as_detector@v2` を、ワークフローにステップとして追加します。

### プロパティ

| **名前**       | **型**       | **説明**                                                                                                                                                                                                                                                                                                                                                                                                                                                                             | 参照 |
| ------------ | ----------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -- |
| `name`       | `str`       | このステップの一意の識別子を入力してください。                                                                                                                                                                                                                                                                                                                                                                                                                                                            | ❌  |
| `classes`    | `List[str]` | 分類モデルで使用されるすべてのクラス名の一覧を、順番どおりに示します。クラス名（VLM 出力）とクラス ID（検出形式）のマッピングを生成するために必要です。クラスはインデックス順に ID にマッピングされます: 1 番目のクラス = ID 0、2 番目 = ID 1、など。VLM 出力のうちこのリストにないクラスは class\_id = -1 になります。モデルの元のラベルは class\_name として保持され、可視化ブロックはそれらを中立的なグレーで描画します。OpenAI、Gemini、Claude モデルでは必須です。Florence-2 では任意です（一部のタスクでは不要です）。VLM に検出させたクラスと一致している必要があります。                                                                                                                                          | ✅  |
| `model_type` | `str`       | 予測を生成した VLM/LLM モデルの種類。JSON 出力から検出データを抽出するためにどのパーサーを使用するかを決定します。サポートされるモデル: 'openai'（GPT-4V）、'google-gemini'（Gemini Vision）、'anthropic-claude'（Claude Vision）、'spacexai'（Grok）、'qwen'（OpenRouter 経由の Qwen-VL）、'zai'（OpenRouter 経由の Z.ai GLM 5V Turbo、box\_2d xyxy 0-1000）、'zai-flash'（OpenRouter 経由の Z.ai GLM 5.3 Flash、bbox\_2d xyxy 0-1000）、'muse'（OpenRouter 経由の Meta Muse）、'florence-2'（Microsoft Florence-2）。各モデル種別は異なる JSON 出力形式を持つため、適切に解析するには正しい model\_type を指定する必要があります。 | ❌  |
| `task_type`  | `str`       | VLM/LLM モデルが実行したタスクの種類。使用するパーサーと形式ハンドラーを決定します。サポートされるタスク種別: 'object-detection'（標準物体検出）、'open-vocabulary-object-detection'（カスタムクラスによる検出）、'object-detection-and-caption'（キャプション付き検出）、'phrase-grounded-object-detection'（フレーズを検出に対応付ける）、'region-proposal'（関心領域の提案）、'ocr-with-text-detection'（テキスト領域検出付き OCR）。task\_type は、VLM/LLM に実行させた内容と一致していなければなりません。                                                                                                                            | ❌  |

この **参照** この列は、 `workflow` の実行時に利用可能な動的値でプロパティをパラメータ化できる可能性を示します。 *バインディング* の詳細を参照してください。

### 入力および出力バインディング

利用可能な接続は、そのバインディング種別に依存します。 `検出器としての VLM` バージョン `v2` に、どのバインディング種別があるか確認してください。

<details>

<summary>入力と出力のバインディング</summary>

* input
  * `image` ([*`image`*](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/image.md)): VLM の予測を生成するために使用された入力画像。正規化座標をピクセル座標に変換するための画像寸法（幅、高さ）と、検出予測のメタデータ（parent\_id）を抽出するために使用します。VLM/LLM ブロックに渡したものと同じ画像をここで使用して、一貫性を保つ必要があります。
  * `vlm_output` ([*`language_model_output`*](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/language-model-output.md)): 物体検出予測を含む VLM または LLM ブロックからの文字列出力。生の JSON 文字列、または Markdown コードブロックで囲まれた JSON（例:  `json {...}` ）。形式は model\_type と task\_type に依存します - モデルやタスクごとに異なる JSON 構造になります。複数の Markdown ブロックがある場合、最初のものだけが解析されます。
  * `classes` ([*`list_of_values`*](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/list-of-values.md)): 分類モデルで使用されるすべてのクラス名の一覧を、順番どおりに示します。クラス名（VLM 出力）とクラス ID（検出形式）のマッピングを生成するために必要です。クラスはインデックス順に ID にマッピングされます: 1 番目のクラス = ID 0、2 番目 = ID 1、など。VLM 出力のうちこのリストにないクラスは class\_id = -1 になります。モデルの元のラベルは class\_name として保持され、可視化ブロックはそれらを中立的なグレーで描画します。OpenAI、Gemini、Claude モデルでは必須です。Florence-2 では任意です（一部のタスクでは不要です）。VLM に検出させたクラスと一致している必要があります。
* output
  * `error_status` ([`boolean`](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/boolean.md)): ブールフラグ。
  * `predictions` ([`object_detection_prediction`](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/object-detection-prediction.md)）：sv.Detections(...) オブジェクト形式の検出済みバウンディングボックスを含む予測。
  * `inference_id` ([`inference_id`](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/inference-id.md)) : 推論識別子。

</details>

<details>

<summary>JSON定義の例</summary>

```json
{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/vlm_as_detector@v2",
	    "image": "$inputs.image",
	    "vlm_output": [
	        "$steps.lmm.output"
	    ],
	    "classes": [
	        "$steps.lmm.classes",
	        "$inputs.classes",
	        [
	            "dog",
	            "cat",
	            "bird"
	        ],
	        [
	            "class_a",
	            "class_b"
	        ]
	    ],
	    "model_type": [
	        "openai"
	    ],
	    "task_type": "<block_does_not_provide_example>"
	}
```

</details>

## v1

Visual Language Models (VLMs) および Large Language Models (LLMs) の JSON 文字列を、バウンディングボックス、クラス名、信頼度を抽出し、正規化座標をピクセル座標に変換し、クラス名をクラス ID にマッピングし、複数のモデル種別とタスク形式を処理することで、標準化された物体検出予測形式へ解析し、VLM ベースの物体検出、LLM の検出解析、および テキストから検出への変換ワークフローを有効にします。

## このブロックの仕組み

このブロックは、物体検出予測を含む VLM/LLM のテキスト出力を、ワークフローの検出ブロックと互換性のある標準化された物体検出形式に変換します。このブロックは次の処理を行います:

1. 検出結果を含む JSON 形式の VLM 出力文字列と画像を受け取ります
2. VLM 出力から JSON コンテンツを解析します:

   **Markdown で囲まれた JSON を処理します:**

   * Markdown コードブロック内に囲まれた JSON を検索します (`json ...` )
   * この形式は LLM/VLM の応答で一般的です
   * 複数の Markdown JSON ブロックが見つかった場合、最初のブロックのみを解析します
   * Markdown タグ内の JSON コンテンツを抽出します

   **生の JSON 文字列を処理します:**

   * Markdown ブロックが見つからない場合、文字列全体を JSON として解析することを試みます
   * 標準的な JSON 形式の文字列をサポートします
3. モデル種別とタスク種別に基づいて適切なパーサーを選択します:
   * 異なるモデル出力を処理する登録済みパーサーを使用します (google-gemini、anthropic-claude、florence-2)
   * 複数のタスク種別をサポートします: object-detection、open-vocabulary-object-detection、object-detection-and-caption、phrase-grounded-object-detection、region-proposal、ocr-with-text-detection
   * 各モデル/タスクの組み合わせは、その形式に特化したパーサーを使用します
4. モデル種別に基づいて検出データを解析します:

   **Gemini/Claude モデルの場合:**

   * 解析済み JSON から detections 配列を抽出します
   * 画像の寸法を使用して、正規化座標 (0-1 の範囲) をピクセル座標に変換します
   * クラス名、信頼度スコア、バウンディングボックス座標を抽出します
   * 提供された classes リストを使用してクラス名をクラス ID にマッピングします
   * バウンディングボックス、クラス、信頼度を含む検出オブジェクトを作成します

   **Florence-2 モデルの場合:**

   * supervision の組み込み LMM パーサーを Florence-2 形式に使用します
   * 特殊な解析でさまざまなタスク種別を処理します (物体検出、オープンボキャブラリ、領域提案、OCR など)
   * 領域提案タスクでは、"roi" をクラス名として割り当てます
   * オープンボキャブラリ検出では、クラス ID のマッピングに提供された classes リストを使用します
   * その他のタスクでは、MD5 ベースのクラス ID 生成または提供されたクラスを使用します
   * Florence-2 の検出では confidence を 1.0 に設定します (このモデルは信頼度を提供しません)
5. 座標を変換し、データを正規化します:
   * 正規化座標 (0-1) を絶対ピクセル座標 (x\_min, y\_min, x\_max, y\_max) に変換します
   * 画像の幅と高さを使用して座標をスケールします
   * 信頼度スコアを有効範囲 \[0.0, 1.0] に正規化します
   * 範囲外の信頼度値を丸めます
6. クラス名からクラス ID へのマッピングを作成します:
   * Gemini/Claude では、提供された classes リストを使用してインデックスマッピング (class\_name → class\_id) を作成します
   * クラスは順番にマッピングされます (1 番目のクラス = ID 0、2 番目 = ID 1、など)
   * 提供されたリストにないクラスは class\_id = -1 になります
   * Florence-2 では、タスク種別に基づいて異なるマッピング戦略を使用します
7. 物体検出予測を構築します:
   * バウンディングボックス (xyxy 形式) を持つ supervision Detections オブジェクトを作成します
   * クラス ID、クラス名、信頼度スコアを含めます
   * メタデータを追加します: detection ID、inference ID、画像寸法、予測タイプ
   * crop を意識した検出のために親座標を添付します
   * 予測を標準の物体検出形式で整形します
8. エラーを処理します:
   * 設定します `error_status` JSON の解析に失敗した場合に True に
   * 設定します `error_status` 検出の解析に失敗した場合に True に
   * エラーが発生した場合、予測として None を返します
   * 追跡用に常に inference\_id を含めます
9. 物体検出予測を返します:
   * 標準の物体検出形式で出力します `predictions` (検出ブロックと互換)
   * 標準の物体検出形式で出力します `error_status` 解析の成功/失敗を示す
   * 標準の物体検出形式で出力します `inference_id` 追跡と来歴のために

このブロックにより、VLM/LLM のテキストベースの JSON 出力を標準化された検出予測へ変換することで、他の物体検出モデル出力と同様にワークフローで使用できるようになり、VLM/LLM を物体検出に利用できます。

## 一般的な使用例

* **VLM ベースの物体検出**: VLM 出力を検出予測に解析することで、物体検出に Visual Language Models を使用します (例: GPT-4V で物体を検出する、Claude Vision を検出に使う、Gemini の検出出力を解析する)。VLM 検出ワークフローを有効にします
* **オープンボキャブラリ検出**: カスタムクラスを使って VLM をオープンボキャブラリ物体検出に使用します (例: VLM でカスタム物体を検出する、オープンボキャブラリ検出を使用する、学習セットにない物体を検出する)。オープンボキャブラリ検出ワークフローを有効にします
* **マルチタスク検出**: さまざまな検出タスクに VLM を使用します (例: キャプション付き物体検出、フレーズ指向検出、領域提案、検出付き OCR)。マルチタスク検出ワークフローを有効にします
* **LLM の検出解析**: 検出結果を含む LLM テキスト出力を標準形式に解析します (例: GPT の検出出力を解析する、LLM の予測を検出形式に変換する、検出に LLM を使う)。LLM 検出ワークフローを有効にします
* **テキストから検出への変換**: モデルからのテキストベースの検出出力をワークフロー互換の検出予測に変換します (例: テキスト予測を検出形式に変換する、テキストベースの検出を解析する、モデル出力を検出に変換する)。テキストから検出へのワークフローを有効にします
* **VLM 統合**: VLM 出力を検出ワークフローに統合します (例: 検出パイプラインで VLM を使用する、VLM 予測を検出ブロックと統合する、VLM と従来の検出を組み合わせる)。VLM 統合ワークフローを有効にします

## 他のブロックへの接続

このブロックは画像と VLM 出力を受け取り、物体検出予測を生成します:

* **VLM/LLM ブロックの後** : 検出出力を標準形式に解析するため (例: VLM 出力を検出へ、LLM 出力を検出へ、モデル出力を解析する)。VLM から検出へのワークフローを有効にします
* **検出ベースのブロックの前** : 解析済み検出を使用するため (例: ワークフローで解析済み検出を使う、下流ブロックに検出を渡す、検出ブロックで VLM 検出を使う)。検出からワークフローへのワークフローを有効にします
* **フィルタリングブロックの前** VLM 検出をフィルタリングするために（例: クラスでフィルタ、信頼度でフィルタ、VLM 予測にフィルタを適用する）、検出からフィルタへのワークフローを有効にします
* **分析ブロックの前** : VLM 検出結果を分析するため (例: VLM 検出を分析する、解析済み検出に対して分析を行う、VLM 検出メトリクスを追跡する)。検出分析ワークフローを有効にします
* **可視化ブロックの前** : VLM 検出結果を表示するため (例: VLM 検出を可視化する、解析済み検出予測を表示する、VLM 検出出力を表示する)。検出可視化ワークフローを有効にします
* **ワークフロー出力で** : VLM 検出を最終出力として提供するため (例: VLM 検出出力、解析済み検出結果、VLM ベースの検出出力)。検出出力ワークフローを有効にします

## 要件

このブロックは、メタデータと寸法のための画像入力と、JSON 検出データを含む VLM 出力文字列を必要とします。JSON は生の JSON でも、Markdown コードブロック (`json ...` ）。このブロックは 3 種類のモデルタイプをサポートします: "google-gemini"、"anthropic-claude"、"florence-2"。複数のタスク種別をサポートします: "object-detection"、"open-vocabulary-object-detection"、"object-detection-and-caption"、"phrase-grounded-object-detection"、"region-proposal"、"ocr-with-text-detection"。The `classes` パラメータは Gemini と Claude モデルでは必須です（クラス名を ID にマッピングするため）が、Florence-2 では任意です（いくつかのタスクでは不要です）。クラスはインデックス順に ID にマッピングされます（1 番目のクラス = 0、2 番目 = 1、など）。リストにないクラスは class\_id = -1 になります。ブロックは標準形式の物体検出予測（検出ブロックと互換）、error\_status（ブール値）、および追跡用の inference\_id（文字列）を出力します。

### タイプ識別子

ステップで次の識別子を使用してください `"type"` フィールド: `roboflow_core/vlm_as_detector@v1` を、ワークフローにステップとして追加します。

### プロパティ

| **名前**       | **型**       | **説明**                                                                                                                                                                                                                                                                                                                       | 参照 |
| ------------ | ----------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -- |
| `name`       | `str`       | このステップの一意の識別子を入力してください。                                                                                                                                                                                                                                                                                                      | ❌  |
| `classes`    | `List[str]` | 検出モデルで使用されるすべてのクラス名の一覧を、順番どおりに示します。google-gemini および anthropic-claude モデルでは、クラス名（VLM 出力）とクラス ID（検出形式）のマッピングを生成するために必要です。Florence-2 モデルでは任意です（open-vocabulary-object-detection タスクでのみ必要です）。クラスはインデックス順に ID にマッピングされます: 1 番目のクラス = ID 0、2 番目 = ID 1、など。VLM 出力のうちこのリストにないクラスは class\_id = -1 になります。VLM に検出させたクラスと一致している必要があります。 | ✅  |
| `model_type` | `str`       | 検出予測を生成した VLM/LLM モデルの種類。JSON 出力を解析するために使用するパーサーを決定します。'google-gemini': Google Gemini のモデル出力。'anthropic-claude': Anthropic Claude のモデル出力。'florence-2': Microsoft Florence-2 のモデル出力。各モデル種別は異なる JSON 出力形式を持ち、適切な解析が必要です。                                                                                                       | ❌  |
| `task_type`  | `str`       | VLM モデルが実行したタスクの種類。JSON 出力の解析方法と、期待される検出形式を決定します。サポートされるタスク: 'object-detection'（指示なし検出）、'open-vocabulary-object-detection'（提供されたクラスによる検出）、'object-detection-and-caption'（キャプション付き検出）、'phrase-grounded-object-detection'（指示付き検出）、'region-proposal'（関心領域）、'ocr-with-text-detection'（OCR を伴うテキスト検出）。各タスク種別には固有の出力形式要件があります。     | ❌  |

この **参照** この列は、 `workflow` の実行時に利用可能な動的値でプロパティをパラメータ化できる可能性を示します。 *バインディング* の詳細を参照してください。

### 入力および出力バインディング

利用可能な接続は、そのバインディング種別に依存します。 `検出器としての VLM` バージョン `v1` に、どのバインディング種別があるか確認してください。

<details>

<summary>入力と出力のバインディング</summary>

* input
  * `image` ([*`image`*](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/image.md)): VLM の予測を生成するために使用された入力画像。正規化座標をピクセル座標に変換するための画像寸法（幅、高さ）と、検出予測のメタデータ（parent\_id）を抽出するために使用します。VLM/LLM ブロックに渡したものと同じ画像をここで使用して、一貫性を保つ必要があります。
  * `vlm_output` ([*`language_model_output`*](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/language-model-output.md)): 物体検出予測を含む VLM または LLM ブロックからの文字列出力。生の JSON 文字列、または Markdown コードブロックで囲まれた JSON（例:  `json {...}` ）。形式は model\_type と task\_type に依存します - モデルやタスクごとに異なる JSON 構造になります。複数の Markdown ブロックがある場合、最初のものだけが解析されます。
  * `classes` ([*`list_of_values`*](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/list-of-values.md)): 検出モデルで使用されるすべてのクラス名の一覧を、順番どおりに示します。google-gemini および anthropic-claude モデルでは、クラス名（VLM 出力）とクラス ID（検出形式）のマッピングを生成するために必要です。Florence-2 モデルでは任意です（open-vocabulary-object-detection タスクでのみ必要です）。クラスはインデックス順に ID にマッピングされます: 1 番目のクラス = ID 0、2 番目 = ID 1、など。VLM 出力のうちこのリストにないクラスは class\_id = -1 になります。VLM に検出させたクラスと一致している必要があります。
* output
  * `error_status` ([`boolean`](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/boolean.md)): ブールフラグ。
  * `predictions` ([`object_detection_prediction`](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/object-detection-prediction.md)）：sv.Detections(...) オブジェクト形式の検出済みバウンディングボックスを含む予測。
  * `inference_id` ([`string`](https://docs.roboflow.com/workflows/ja/gaido/developer-guide/kinds/string.md)): 文字列値。

</details>

<details>

<summary>JSON定義の例</summary>

```json
{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/vlm_as_detector@v1",
	    "image": "$inputs.image",
	    "vlm_output": [
	        "$steps.lmm.output"
	    ],
	    "classes": [
	        "$steps.lmm.classes",
	        "$inputs.classes",
	        [
	            "dog",
	            "cat",
	            "bird"
	        ],
	        [
	            "class_a",
	            "class_b"
	        ]
	    ],
	    "model_type": "google-gemini",
	    "task_type": "<block_does_not_provide_example>"
	}
```

</details>
