> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/ja/supported-tasks/multimodal.md).

# マルチモーダル

画像について平易なテキストで質問し、テキストの回答を受け取り、その後 Roboflow 上で独自の視覚言語モデルをファインチューニングしてデプロイできます。

## マルチモーダルモデルとは何ですか？

マルチモーダルモデルは、視覚言語モデル（VLM）とも呼ばれ、画像とテキストプロンプトを受け取り、テキストで応答します。同じモデルで、画像にキャプションを付けたり、その画像についての質問に答えたり（Visual Question Answering）、あるいは自由形式のプロンプトに従ったりできます（例:「この写真にある安全上の問題をすべて挙げてください」）。一部のモデルは、ボックスや JSON などの構造化出力も返せます。質問が頻繁に変わる場合や、固定クラスに落とし込みにくい場合に使用します。

<figure><img src="https://1194881119-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-0ca7c7502d3b4b2cb7f2078b859080f499b33902%2Fimg-task-multimodal-wide.webp?alt=media" alt="Oranges on a conveyor with the generated caption: Oranges on a conveyor."><figcaption></figcaption></figure>

## 対応するマルチモーダルモデル

Roboflow はこれらのマルチモーダルモデルをサポートしています。以下を参照してください。 [マルチモーダルモデル](https://docs.roboflow.com/models/ja/supported-models.md#multimodal) 各モデルのエクスポートおよびデプロイ対応状況の表。

<table data-search="false"><thead><tr><th>モデル</th><th>ライセンス</th><th data-type="checkbox">Roboflow 上で学習可能</th><th>最新リリース</th></tr></thead><tbody><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/cosmos-3-edge.md">Cosmos 3 Edge</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>true</td><td>2026</td></tr><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/qwen3-5.md">Qwen3.5</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>true</td><td>2026</td></tr><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/qwen3-vl.md">Qwen3-VL</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>true</td><td>2025</td></tr><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/perception-encoder.md">Perception Encoder</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>false</td><td>2025</td></tr><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/smolvlm2.md">SmolVLM2</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>true</td><td>2025</td></tr><tr><td>Qwen2.5-VL</td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>true</td><td>2025</td></tr><tr><td>SmolVLM 256M</td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>true</td><td>2025</td></tr><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/paligemma2.md">PaliGemma 2</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>true</td><td>2024</td></tr><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/florence-2.md">Florence 2</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>true</td><td>2024</td></tr><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/moondream2.md">Moondream2</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>false</td><td>2025</td></tr><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/yolo-world.md">YOLO-World</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md">AGPL-3.0</a> （商用利用にはライセンスが必要です。Roboflow Cloud に含まれています）</td><td>false</td><td>2024</td></tr><tr><td><a href="https://docs.roboflow.com/models/ja/supported-models/clip.md">CLIP</a></td><td><a href="https://docs.roboflow.com/models/ja/model-licenses.md#other-models">上流ライセンス</a></td><td>false</td><td>2021</td></tr></tbody></table>

## マルチモーダルモデルのファインチューニング

Roboflow では一部のマルチモーダルモデルをファインチューニングできます（例: Qwen3-VL、Florence 2、PaliGemma 2）。 [マルチモーダルモデル](https://docs.roboflow.com/models/ja/supported-models.md#multimodal) 表で対象モデルを確認できます。

{% stepper %}
{% step %}

### マルチモーダルプロジェクトを作成する

を作成し、 [プロジェクト](https://docs.roboflow.com/datasets/create-and-upload/create-a-project) プロジェクトタイプとして「Multimodal」を選択します。

<figure><img src="https://1194881119-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-5c1c2973605b125b6f909401c24cf657c49a9081%2Fcreate-project-multimodal.webp?alt=media" alt="Create project form with Multimodal selected as the project type and a preview of a multimodal example"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

### 画像をアップロードしてアノテーションする

[画像をアップロードし](https://docs.roboflow.com/datasets/create-and-upload/adding-data), [プレフィックスを追加し](https://docs.roboflow.com/datasets/annotate/annotate/annotate-multimodal-data) （モデルが応答するプロンプト）を追加したら、各画像の各プレフィックスに対する回答（サフィックス）を [アノテーションエディタ](https://docs.roboflow.com/datasets/annotate/annotate/annotation-tools). [Label Assist](https://docs.roboflow.com/datasets/annotate/annotate/ai-labeling/model-assisted-labeling) を使うと、モデルから回答の下書きを作成して確認できます。

<figure><img src="https://1194881119-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-7aaed09426c0bd40ceb0549ec6b3d8c2503e11bc%2Fannotate-multimodal.webp?alt=media" alt="Annotation editor on a pallet manifest image with the prefix JSON and a JSON suffix listing route, pallet number, and products"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

### データセットバージョンを生成する

[データセットバージョンを生成する](https://docs.roboflow.com/datasets/versions/dataset-versions/create-a-dataset-version)：画像の固定スナップショットに、train、valid、test の分割、さらに前処理や拡張が加えられたものです。
{% endstep %}

{% step %}

### マルチモーダルモデルを学習する

「Train」をクリックし、ファインチューニングをサポートするモデルを選択します。以下を参照してください。 [モデルを学習する](https://docs.roboflow.com/models/ja/xue-xi/train-a-model.md) で各オプションを確認できます。

<figure><img src="https://1194881119-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-b1e7f5d64887c2d76bddbac9c087e42c5b06c21d%2Ftrain-architectures-multimodal.webp?alt=media" alt="Select Architecture step on the Train page listing Qwen3.5 (Recommended), Qwen3 VL, SmolVLM, Florence 2, Cosmos 3, PaliGemma 2, and Qwen2.5 VL"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

## マルチモーダルモデルをデプロイする

学習後は、 [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)、 [Dedicated Deployment](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments)、または自身のハードウェア上で [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted)を使ってマルチモーダルモデルをデプロイできます。以下を参照してください。 [デプロイ方法の選択](https://docs.roboflow.com/deployment/choosing-a-deployment) で各 विकल्पを比較できます。
