Qwen3-VL

Serverless Hosted API를 통해 Alibaba의 Qwen3-VL vision-language model을 사용합니다.

Qwen3-VL은 Alibaba의 비전-언어 모델입니다. 이미지를 입력하고 텍스트 프롬프트를 받아 텍스트 응답을 반환합니다. 우리는 다음을 통해 Qwen3-VL을 지원합니다: Serverless Hosted API, Dedicated Deployments그리고 자체 호스팅 Inference.

코드 샘플

1

API Key를 받으세요

Roboflow 계정을 만들고, 다음에서 키를 찾으세요: Roboflow API 설정 페이지 그리고 이를 셸에서 사용할 수 있도록 설정하세요:

export ROBOFLOW_API_KEY="your-key-here"

2

종속성을 설치하세요

다음을 설치하세요 Inference SDK:

pip install inference-sdk

3

모델을 실행하세요

샘플은 다음을 프롬프트로 사용합니다. qwen3vl-2b-instruct 체크포인트에 이미지 설명을 요청하고 응답을 출력합니다.

import os
import cv2
import numpy as np
import requests
from inference_sdk import InferenceHTTPClient

content = requests.get("https://media.roboflow.com/quickstart/dog.jpeg").content
image = cv2.imdecode(np.frombuffer(content, np.uint8), cv2.IMREAD_COLOR)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="qwen3vl-2b-instruct",
    prompt="이 이미지를 간단히 설명하세요.",
    max_new_tokens=128,
)
print(result["response"] )

위의 코드는 모델 응답을 터미널에 출력합니다:

흰색 티셔츠와 빨간 반바지를 입은 남성이 비글을 어깨에 올리고 가고 있습니다. 개는 검은 하네스를 착용하고 있으며 앞을 보고 있습니다. 남성은 배경에 아파트 건물이 있는 주거 지역의 포장된 길을 걷고 있습니다. 왼쪽에는 푸른 잔디와 하얀 꽃이 있는 작은 정원이 있습니다.

추론 속도

다음 기준으로 측정한 지연 시간 Roboflow Inference 1x NVIDIA L4에서 배치 크기 1로, 고정 프롬프트에서 greedy decoding을 사용해 정확히 128개의 토큰을 생성할 때의 결과입니다. 지연 시간은 출력 길이에 따라 증가하므로, 다른 길이를 추정할 때는 tokens/sec를 사용하세요.

별칭	지연 시간, 128 토큰(ms)	Tokens/sec
qwen3vl-2b-instruct	4057	32
qwen25-vl-7b	5603	23

qwen25-vl-7b 는 이전 Qwen2.5-VL 체크포인트입니다. 이 별칭 네임스페이스를 공유하고 동일한 블록을 통해 실행되기 때문에 여기에 표시됩니다.

설정 api_url 을 배포 대상에 맞게 설정하세요:

• https://serverless.roboflow.com Serverless Hosted API용입니다.

• http://localhost:9001 로컬 Inference 서버용입니다.

• 귀하의 Dedicated Deployment 비공개 엔드포인트용 URL입니다.

Roboflow에서 자체 Qwen3-VL 체크포인트를 학습시키고, 모델별 {workspace}/{model-slug} ID로 호출할 수 있습니다(참조 Versions, Trainings, and Models).