Qwen3.5

Workflows, Dedicated Deployments, या self-hosted Inference के माध्यम से Alibaba के Qwen3.5-VL vision-language model का उपयोग करें

Qwen3.5, Alibaba का vision-language model परिवार है। यह एक image और एक text prompt स्वीकार करता है और एक text response लौटाता है। दो pretrained checkpoints उपलब्ध हैं:

उपनाम	पैरामीटर
qwen3_5-0.8b	0.8B
qwen3_5-2b	2B

सटीकता

आधिकारिक model cards से प्रमुख vision-language benchmarks (non-thinking mode) (0.8B, 2B):

बेंचमार्क	qwen3_5-0.8b	qwen3_5-2b
MMMU	47.4	64.2
MathVista (mini)	58.6	73.9
MMBench (EN v1.1)	68.0	81.3

Inference speed

Latency मापी गई Roboflow Inference 1x NVIDIA L4 पर, batch size 1 के साथ, fixed prompt से greedy decoding का उपयोग करके बिल्कुल 128 tokens generate करते हुए। Latency output length के साथ scale होती है, इसलिए अन्य lengths का अनुमान लगाने के लिए tokens/sec का उपयोग करें।

उपनाम	विलंबता, 128 tokens (ms)	टोकन/सेकंड
qwen3_5-0.8b	3307	39
qwen3_5-2b	3688	35

Workflows के माध्यम से Qwen 3.5 VL का उपयोग करना

Qwen 3.5 VL एक preconfigured Workflow रूप में Models page के "Open-Source Models" tab पर उपलब्ध है। "Qwen VL" चुनें, एक model variant और prompt चुनें, फिर "Test API" पर क्लिक करके Workflow को अपने Workspace में fork करें और inference चलाना शुरू करें।

यह Workflow unified qwen_vlm@v1 block का उपयोग करता है, जो कई Qwen VL generations का समर्थन करता है:

मॉडल	पैरामीटर
Qwen 3.5 VL 0.8B	0.8B
Qwen 3.5 VL 2B	2B
Qwen 3 VL 2B	2B
Qwen 2.5 VL 7B	7B

Inference SDK के माध्यम से Qwen 3.5 VL का उपयोग करना

Qwen3.5 के लिए सीधे Inference SDK calls के लिए एक Dedicated Deployment या self-hosted Inference. Hosted access के लिए, ऊपर वर्णित Workflow path का उपयोग करें।

1

अपनी API Key प्राप्त करें

एक Roboflow खाता बनाएं, अपनी key यहाँ पर ढूँढें Roboflow API settings page और इसे अपने shell में उपलब्ध कराएँ:

export ROBOFLOW_API_KEY="your-key-here"

2

निर्भरताएँ इंस्टॉल करें

इंस्टॉल करें Inference SDK:

pip install inference-sdk

3

मॉडल चलाएँ

सेट करें api_url को अपने Dedicated Deployment URL या local Inference server पर।

import os
import cv2
import numpy as np
import requests
from inference_sdk import InferenceHTTPClient

content = requests.get("https://media.roboflow.com/quickstart/dog.jpeg").content
image = cv2.imdecode(np.frombuffer(content, np.uint8), cv2.IMREAD_COLOR)

client = InferenceHTTPClient(
    api_url="https://your-deployment.roboflow.cloud",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="qwen3_5-2b",
    prompt="इस image का संक्षेप में वर्णन करें।",
    max_new_tokens=256,
)
print(result["response"])

ऊपर दिया गया code terminal में model का response प्रिंट करता है:

एक सफेद t-shirt और लाल shorts पहने व्यक्ति अपने कंधे पर एक black backpack लिए हुए है, और उसके ऊपर एक beagle dog बैठा हुआ है। यह दृश्य बाहर एक residential area में होता है, जहाँ background में आधुनिक apartment buildings हैं और sidewalk के किनारे हरियाली है। व्यक्ति एक building के पास चल रहा या खड़ा दिखाई देता है, जिसके बड़े windows हैं।

सेट करें api_url को अपने deployment target से मिलाएँ:

• http://localhost:9001 एक local Inference server.

• आपका Dedicated Deployment एक private endpoint के लिए URL.

आप Roboflow पर अपना Qwen3.5 checkpoint train कर सकते हैं और उसे उसके per-model द्वारा कॉल कर सकते हैं {workspace}/{model-slug} ID (देखें Versions, Trainings, and Models).