Qwen3-VL

हमारे Serverless Hosted API के माध्यम से Alibaba के Qwen3-VL vision-language model का उपयोग करें

Qwen3-VL Alibaba का vision-language model है। यह एक image और एक text prompt स्वीकार करता है और एक text response लौटाता है। हम Qwen3-VL को अपने Serverless Hosted API, Dedicated Deployments, और self-hosted Inference.

कोड नमूना

1

अपनी API Key प्राप्त करें

एक Roboflow खाता बनाएं, अपनी key यहाँ पर ढूँढें Roboflow API settings page और इसे अपने shell में उपलब्ध कराएँ:

export ROBOFLOW_API_KEY="your-key-here"

2

निर्भरताएँ इंस्टॉल करें

इंस्टॉल करें Inference SDK:

pip install inference-sdk

3

मॉडल चलाएँ

नमूना प्रॉम्प्ट करता है qwen3vl-2b-instruct किसी image का वर्णन करने के लिए checkpoint को prompt करता है और response प्रिंट करता है।

import os
import cv2
import numpy as np
import requests
from inference_sdk import InferenceHTTPClient

content = requests.get("https://media.roboflow.com/quickstart/dog.jpeg").content
image = cv2.imdecode(np.frombuffer(content, np.uint8), cv2.IMREAD_COLOR)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="qwen3vl-2b-instruct",
    prompt="इस image का संक्षेप में वर्णन करें।",
    max_new_tokens=128,
)
print(result["response"])

ऊपर दिया गया code terminal में model का response प्रिंट करता है:

सफेद t-shirt और लाल shorts पहने एक आदमी अपने कंधों पर एक beagle dog लेकर चल रहा है। Dog एक black harness पहने हुए है और आगे देख रहा है। आदमी एक residential area में paved path पर चल रहा है, पृष्ठभूमि में apartment buildings हैं। बाईं ओर हरी घास और सफेद फूलों वाला एक छोटा garden है।

Inference speed

Latency मापी गई Roboflow Inference 1x NVIDIA L4 पर, batch size 1 के साथ, fixed prompt से greedy decoding का उपयोग करके बिल्कुल 128 tokens generate करते हुए। Latency output length के साथ scale होती है, इसलिए अन्य lengths का अनुमान लगाने के लिए tokens/sec का उपयोग करें।

उपनाम	विलंबता, 128 tokens (ms)	टोकन/सेकंड
qwen3vl-2b-instruct	4057	32
qwen25-vl-7b	5603	23

qwen25-vl-7b यह पहले वाला Qwen2.5-VL checkpoint है। इसे यहाँ इसलिए सूचीबद्ध किया गया है क्योंकि यह इस alias namespace को साझा करता है और उसी block से चलता है।

सेट करें api_url को अपने deployment target से मिलाएँ:

• https://serverless.roboflow.com Serverless Hosted API के लिए।

• http://localhost:9001 एक local Inference server.

• आपका Dedicated Deployment एक private endpoint के लिए URL.

आप Roboflow पर अपना Qwen3-VL checkpoint train कर सकते हैं और इसे इसके per-model के माध्यम से कॉल कर सकते हैं {workspace}/{model-slug} ID (देखें Versions, Trainings, and Models).