सर्वरलेस होस्टेड API V2

रोबोफ्लो क्लाउड में GPU-सक्षम इन्फ्रास्ट्रक्चर पर वर्कफ़्लो और मॉडल इनफेरेंस चलाएँ।

Roboflow पर डिप्लॉय किए गए मॉडल्स के पास एक REST API उपलब्ध होती है जिसके माध्यम से आप इमेजेज़ पर इनफेरेंस चला सकते हैं। यह डिप्लॉयमेंट विधि उन वातावरणों के लिए आदर्श है जहाँ आपके डिप्लॉयमेंट डिवाइस पर स्थायी इंटरनेट कनेक्शन होता है।

आपकी परियोजना से जुड़ी API आपके साथ बढ़ती है: जैसे-जैसे आपकी परियोजना बढ़ती है और आपकी इनफेरेंस आवश्यकताएँ अधिक होती हैं, आपकी API भी बढ़ेगी।

Serverless Hosted API V2 हमारी नवीनतम API पेशकश है। यह V1 से तेज़ है और उन मॉडलों के साथ काम करती है जिन्हें GPU की आवश्यकता होती है, जैसे Florence-2 और SAM-2।

API का उपयोग वर्कफ़्लो में करें

REST API के साथ उपयोग करें

बेंचमार्क्स

Serverless Hosted API V2 को भेजे गए अनुरोधों की एंड-टू-एंड लेटेंसी कई कारकों पर निर्भर करती है:

1. मॉडल आर्किटेक्चर, जो निष्पादन समय को प्रभावित करता है

2. छवियों का आकार और रिज़ॉल्यूशन, जो अपलोड समय और निष्पादन के दौरान मॉडल इनफेरेंस समय को प्रभावित करता है

3. नेटवर्क लेटेंसी और बैंडविड्थ, जो अनुरोध अपलोड समय और प्रतिक्रिया डाउनलोड समय को प्रभावित करता है।

4. किसी विशिष्ट समय पर अन्य उपयोगकर्ताओं द्वारा सेवा सदस्यता और उपयोग, जिससे कतारबद्ध लेटेंसी हो सकती है

हम नीचे दी गई तालिका में Serverless Hosted API V2 और Hosted API V1 पर किए गए कुछ प्रतिनिधि बेंचमार्क दिखाते हैं। Serverless Hosted API V2 और Hosted Inference (V1) के परिणाम एंड-टू-एंड लेटेंसी (E2E) के साथ-साथ निष्पादन समय (Exec) दिखाते हैं। ये संख्याएँ केवल जानकारी के लिए हैं, हम उपयोगकर्ताओं को प्रोत्साहित करते हैं कि वे अपने स्वयं के बेंचमार्क चलाएँ हमारे इनफेरेंस बेंचमार्क टूल्स या अपने स्वयं के कस्टम बेंचमार्क्स।

मॉडल	V2 (E2E)	V2 (Exec)	V1 (E2E)	V1 (Exec)
yolov8x-640	401 मि.से.	29 मि.से.	4084 मि.से.	821 मि.से.
yolov8m-640	757 मि.से.	21 मि.से.	572 मि.से.	265 मि.से.
yolov8n-640	384 मि.से.	17 मि.से.	312 मि.से.	63 मि.से.
yolov8x-1280	483 मि.से.	97 मि.से.	6431 मि.से.	3032 मि.से.
yolov8m-1280	416 मि.से.	52 मि.से.	1841 मि.से.	1006 मि.से.
yolov8n-1280	428 मि.से.	35 मि.से.	464 मि.से.	157 मि.से.

हम उपयोगकर्ताओं को प्रोत्साहित करते हैं कि वे अपने मॉडल इनफेरेंस और वर्कफ़्लो के लिए अपने स्वयं के बेंचमार्क चलाएँ ताकि वे अपने विशिष्ट उपयोग मामलों पर वास्तविक मेट्रिक्स प्राप्त कर सकें।

सीमाएँ

हमारी Serverless Hosted API V2 के लिए, आप 20MB तक की फाइलें अपलोड कर सकते हैं। चूंकि यह एक नई API है, इसलिए आपको उच्च रिज़ॉल्यूशन वाली छवियों के साथ सीमाएँ आ सकती हैं। यदि आपको कोई समस्या आती है, तो कृपया अपने एंटरप्राइज़ सपोर्ट संपर्क से संपर्क करें या एक संदेश पोस्ट करें फोरम.

ऐसे मामलों में जब अनुरोध बहुत बड़े होते हैं, हम अनुशंसा करते हैं कि किसी भी संलग्न छवियों का आकार छोटा करें। आमतौर पर इससे प्रदर्शन पर कोई बुरा असर नहीं पड़ता क्योंकि छवियों को हमारे सर्वर पर प्राप्त होने के बाद भी मॉडल आर्किटेक्चर द्वारा स्वीकार किए गए इनपुट आकार में छोटा कर दिया जाता है। हमारे कुछ SDKs, जैसे कि Python SDK, छवियों को API पर भेजने से पहले स्वचालित रूप से मॉडल आर्किटेक्चर के इनपुट आकार में छोटा कर देते हैं।