Qwen3-VL

हमारे Serverless Cloud API के माध्यम से Alibaba के Qwen3-VL विज़न-लैंग्वेज मॉडल का उपयोग करें

Qwen3-VL Alibaba का विज़न-लैंग्वेज मॉडल है। यह एक छवि और एक टेक्स्ट प्रॉम्प्ट स्वीकार करता है और टेक्स्ट उत्तर देता है। हम Qwen3-VL का समर्थन अपने माध्यम से करते हैं सर्वरलेस क्लाउड API के माध्यम से समर्थित करते हैं, समर्पित डिप्लॉयमेंट्स, और स्व-होस्टेड Inference.

कोड नमूना

1

अपनी API कुंजी प्राप्त करें

एक Roboflow खाता बनाएँ, अपनी कुंजी यहाँ ढूँढें Roboflow API सेटिंग्स पेज और इसे अपने शेल में उपलब्ध कराएँ:

export ROBOFLOW_API_KEY="आपकी-कुंजी-यहाँ"

2

निर्भरताएँ इंस्टॉल करें

इंस्टॉल करें Inference SDK:

pip install -U inference-sdk supervision

3

मॉडल चलाएँ

नमूना प्रॉम्प्ट करता है qwen3vl-2b-instruct चेकपॉइंट से एक छवि का वर्णन कराया जाता है और प्रतिक्रिया प्रिंट की जाती है।

import os
import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/quickstart/dog.jpeg")

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="qwen3vl-2b-instruct",
    prompt="इस छवि का संक्षेप में वर्णन करें।",
    max_new_tokens=128,
)
print(result["response"])

ऊपर दिया गया कोड मॉडल की प्रतिक्रिया को टर्मिनल पर प्रिंट करता है:

एक सफेद टी-शर्ट और लाल शॉर्ट्स पहने एक आदमी अपने कंधों पर एक बीगल कुत्ता उठा रहा है। कुत्ते ने काला हार्नेस पहना हुआ है और वह आगे की ओर देख रहा है। आदमी एक आवासीय क्षेत्र में पक्के रास्ते पर चल रहा है, पीछे अपार्टमेंट इमारतें हैं। बाईं ओर हरी घास और सफेद फूलों वाला एक छोटा बगीचा है।

इन्फरेंस गति

विलंबता मापी गई Roboflow Inference 1x NVIDIA L4 पर, बैच साइज़ 1 के साथ, एक निश्चित प्रॉम्प्ट से greedy decoding का उपयोग करके ठीक 128 टोकन जनरेट करते हुए। लेटेंसी आउटपुट लंबाई के साथ स्केल होती है, इसलिए अन्य लंबाइयों का अनुमान लगाने के लिए tokens/sec का उपयोग करें।

उपनाम	लेटेंसी, 128 टोकन (मि.से.)	टोकन/सेकंड
qwen3vl-2b-instruct	4057	32
qwen25-vl-7b	5603	23

qwen25-vl-7b Qwen2.5-VL का पहले वाला चेकपॉइंट है। इसे यहाँ सूचीबद्ध किया गया है क्योंकि यह इसी उपनाम नेमस्पेस को साझा करता है और उसी ब्लॉक के माध्यम से चलता है।

सेट करें api_url को अपने डिप्लॉयमेंट लक्ष्य से मिलाएँ:

• https://serverless.roboflow.com सर्वरलेस Cloud API के लिए।

• http://localhost:9001 एक स्थानीय Inference सर्वर।

• आपका समर्पित डिप्लॉयमेंट निजी एंडपॉइंट के लिए URL।

आप Roboflow पर अपना स्वयं का Qwen3-VL चेकपॉइंट प्रशिक्षित कर सकते हैं और इसे उसके प्रति-मॉडल {workspace}/{model-slug} ID में बदलें (देखें संस्करण, प्रशिक्षण और मॉडल).