> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/ko/supported-tasks/multimodal.md).

# 멀티모달

이미지에 대해 일반 텍스트로 질문하고 텍스트 답변을 받은 다음, Roboflow에서 자체 비전-언어 모델을 파인튜닝하고 배포하세요.

## 멀티모달 모델이란 무엇인가요?

멀티모달 모델은 비전-언어 모델(VLM)이라고도 하며, 이미지와 텍스트 프롬프트를 받아 텍스트로 답합니다. 동일한 모델로 이미지를 캡션할 수도 있고, 이미지에 대한 질문에 답할 수도 있으며(시각적 질의응답), 열린 프롬프트를 따를 수도 있습니다(예: "이 사진의 모든 안전 문제를 나열하세요"). 일부 모델은 박스나 JSON과 같은 구조화된 출력도 반환할 수 있습니다. 질문이 자주 바뀌거나 고정된 클래스로 바꾸기 어려울 때 사용하세요.

<figure><img src="https://2225311784-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-0ca7c7502d3b4b2cb7f2078b859080f499b33902%2Fimg-task-multimodal-wide.webp?alt=media" alt="Oranges on a conveyor with the generated caption: Oranges on a conveyor."><figcaption></figcaption></figure>

## 지원되는 멀티모달 모델

Roboflow는 다음 멀티모달 모델을 지원합니다.  [멀티모달 모델](https://docs.roboflow.com/models/ko/supported-models.md#multimodal) 표에서 모델별 내보내기 및 배포 지원을 확인하세요.

<table data-search="false"><thead><tr><th>모델</th><th>라이선스</th><th data-type="checkbox">Roboflow에서 학습 가능</th><th>최신 릴리스</th></tr></thead><tbody><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/cosmos-3-edge.md">Cosmos 3 Edge</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>true</td><td>2026</td></tr><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/qwen3-5.md">Qwen3.5</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>true</td><td>2026</td></tr><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/qwen3-vl.md">Qwen3-VL</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>true</td><td>2025</td></tr><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/perception-encoder.md">Perception Encoder</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>false</td><td>2025</td></tr><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/smolvlm2.md">SmolVLM2</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>true</td><td>2025</td></tr><tr><td>Qwen2.5-VL</td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>true</td><td>2025</td></tr><tr><td>SmolVLM 256M</td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>true</td><td>2025</td></tr><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/paligemma2.md">PaliGemma 2</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>true</td><td>2024</td></tr><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/florence-2.md">Florence 2</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>true</td><td>2024</td></tr><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/moondream2.md">Moondream2</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>false</td><td>2025</td></tr><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/yolo-world.md">YOLO-World</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md">AGPL-3.0</a> (상업적 사용에는 라이선스가 필요하며, Roboflow 클라우드에 포함됨)</td><td>false</td><td>2024</td></tr><tr><td><a href="https://docs.roboflow.com/models/ko/supported-models/clip.md">CLIP</a></td><td><a href="https://docs.roboflow.com/models/ko/model-licenses.md#other-models">상위 라이선스</a></td><td>false</td><td>2021</td></tr></tbody></table>

## 멀티모달 모델 파인튜닝

Roboflow에서 일부 멀티모달 모델을 파인튜닝할 수 있습니다(예: Qwen3-VL, Florence 2, PaliGemma 2).  [멀티모달 모델](https://docs.roboflow.com/models/ko/supported-models.md#multimodal) 표에서 어떤 모델인지 확인할 수 있습니다.

{% stepper %}
{% step %}

### 멀티모달 프로젝트 만들기

생성 [프로젝트](https://docs.roboflow.com/datasets/create-and-upload/create-a-project) 를 만들고 프로젝트 유형으로 "Multimodal"을 선택하세요.

<figure><img src="https://2225311784-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-5c1c2973605b125b6f909401c24cf657c49a9081%2Fcreate-project-multimodal.webp?alt=media" alt="Create project form with Multimodal selected as the project type and a preview of a multimodal example"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

### 이미지 업로드 및 주석 달기

[이미지 업로드](https://docs.roboflow.com/datasets/create-and-upload/adding-data), [접두사 추가](https://docs.roboflow.com/datasets/annotate/annotate/annotate-multimodal-data) (모델이 답할 프롬프트)를 추가한 다음, [주석 편집기](https://docs.roboflow.com/datasets/annotate/annotate/annotation-tools). [에서 각 이미지의 각 접두사에 대한 답변(접미사)을 작성하세요.](https://docs.roboflow.com/datasets/annotate/annotate/ai-labeling/model-assisted-labeling) Label Assist는 검토할 수 있도록 모델의 답변 초안을 생성해 줍니다.

<figure><img src="https://2225311784-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-7aaed09426c0bd40ceb0549ec6b3d8c2503e11bc%2Fannotate-multimodal.webp?alt=media" alt="Annotation editor on a pallet manifest image with the prefix JSON and a JSON suffix listing route, pallet number, and products"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

### 데이터셋 버전 생성

[데이터셋 버전 생성](https://docs.roboflow.com/datasets/versions/dataset-versions/create-a-dataset-version): 학습, 검증, 테스트 분할과 전처리 및 증강이 포함된 이미지의 고정 스냅샷입니다.
{% endstep %}

{% step %}

### 멀티모달 모델 학습

"Train"을 클릭하고 파인튜닝을 지원하는 모델을 선택하세요.  [모델 학습](https://docs.roboflow.com/models/ko/train/train-a-model.md) 에서 각 옵션을 확인하세요.

<figure><img src="https://2225311784-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-b1e7f5d64887c2d76bddbac9c087e42c5b06c21d%2Ftrain-architectures-multimodal.webp?alt=media" alt="Select Architecture step on the Train page listing Qwen3.5 (Recommended), Qwen3 VL, SmolVLM, Florence 2, Cosmos 3, PaliGemma 2, and Qwen2.5 VL"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

## 멀티모달 모델 배포

학습 후에는 다음을 사용해 멀티모달 모델을 배포하세요. [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api),  [전용 배포](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments), 또는 자신의 하드웨어에서 [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted)를 사용하세요.  [배포 선택](https://docs.roboflow.com/deployment/choosing-a-deployment) 에서 옵션을 비교해 보세요.
