सर्वरलेस होस्टेड API V2

रोबोफ्लो क्लाउड में GPU-सक्षम इन्फ्रास्ट्रक्चर पर वर्कफ़्लो और मॉडल इनफेरेंस चलाएँ।

Roboflow पर डिप्लॉय किए गए मॉडल्स के लिए एक REST API उपलब्ध है जिसके माध्यम से आप इमेजेज़ पर इनफेरेंस चला सकते हैं। यह डिप्लॉयमेंट विधि उन वातावरणों के लिए आदर्श है जहाँ आपके डिप्लॉयमेंट डिवाइस पर लगातार इंटरनेट कनेक्शन होता है।

आपके प्रोजेक्ट से जुड़ी API आपके साथ स्केल होती है: जैसे-जैसे आपका प्रोजेक्ट बढ़ता है और आपकी इनफेरेंस आवश्यकताएँ बढ़ती हैं, आपकी API भी बढ़ेगी।

Serverless Hosted API V2 हमारी नवीनतम API पेशकश है। यह V1 से तेज़ है और उन मॉडल्स के साथ काम करती है जिन्हें GPU की आवश्यकता होती है, जैसे Florence-2 और SAM-2।

Workflow में API का उपयोग करें

REST API के साथ उपयोग करें

Benchmarks

Serverless Hosted API V2 को भेजे गए अनुरोधों की एंड-टू-एंड लेटेंसी कई कारकों पर निर्भर करती है:

1. मॉडल आर्किटेक्चर, जो निष्पादन समय को प्रभावित करता है

2. इमेज का आकार और रेज़ोल्यूशन, जो अपलोड समय और निष्पादन के दौरान मॉडल इनफेरेंस समय को प्रभावित करता है

3. नेटवर्क लेटेंसी और बैंडविड्थ, जो अनुरोध अपलोड समय और प्रतिक्रिया डाउनलोड समय को प्रभावित करता है।

4. किसी विशेष समय पर अन्य उपयोगकर्ताओं द्वारा सेवा सदस्यता और उपयोग, जिससे कतारबद्ध लेटेंसी हो सकती है

हम नीचे दी गई तालिका में Serverless Hosted API V2 और Hosted API V1 पर किए गए कुछ प्रतिनिधि बेंचमार्क दिखाते हैं। Serverless Hosted API V2 और Hosted Inference (V1) के लिए परिणाम एंड-टू-एंड लेटेंसी (E2E) के साथ-साथ निष्पादन समय (Exec) दिखाते हैं। ये आंकड़े केवल जानकारी के लिए हैं, हम उपयोगकर्ताओं को प्रोत्साहित करते हैं कि वे अपने स्वयं के बेंचमार्क चलाएँ हमारे इनफेरेंस बेंचमार्क टूल्स या अपने स्वयं के कस्टम बेंचमार्क का उपयोग करें।

Model	V2 (E2E)	V2 (Exec)	V1 (E2E)	V1 (Exec)
yolov8x-640	401 मिलीसेकंड	29 मिलीसेकंड	4084 मिलीसेकंड	821 मिलीसेकंड
yolov8m-640	757 मिलीसेकंड	21 मिलीसेकंड	572 मिलीसेकंड	265 मिलीसेकंड
yolov8n-640	384 मिलीसेकंड	17 मिलीसेकंड	312 मिलीसेकंड	63 मिलीसेकंड
yolov8x-1280	483 मिलीसेकंड	97 मिलीसेकंड	6431 मिलीसेकंड	3032 मिलीसेकंड
yolov8m-1280	416 मिलीसेकंड	52 मिलीसेकंड	1841 मिलीसेकंड	1006 मिलीसेकंड
yolov8n-1280	428 मिलीसेकंड	35 मिलीसेकंड	464 मिलीसेकंड	157 मिलीसेकंड

हम उपयोगकर्ताओं को प्रोत्साहित करते हैं कि वे अपने मॉडल इनफेरेंस और वर्कफ़्लो के लिए अपने स्वयं के बेंचमार्क चलाएँ ताकि वे अपने विशिष्ट उपयोग मामलों पर वास्तविक मेट्रिक्स प्राप्त कर सकें।

सीमाएँ

हमारे Serverless Hosted API V2 के लिए, आप 20MB तक की फाइलें अपलोड कर सकते हैं। चूंकि यह एक नई API है, इसलिए आपको उच्च रेज़ोल्यूशन इमेजेज़ के साथ सीमाएँ मिल सकती हैं। यदि आपको कोई समस्या आती है, तो कृपया अपने एंटरप्राइज़ सपोर्ट संपर्क से संपर्क करें या संदेश पोस्ट करें फोरम.

ऐसे मामलों में जब अनुरोध बहुत बड़े होते हैं, हम अनुशंसा करते हैं कि कोई भी संलग्न इमेज को छोटा किया जाए। आमतौर पर इससे प्रदर्शन पर कोई बुरा असर नहीं पड़ता क्योंकि इमेज को हमारे सर्वर पर प्राप्त होने के बाद भी मॉडल आर्किटेक्चर के इनपुट आकार में छोटा कर दिया जाता है। हमारे कुछ SDKs, जैसे Python SDK, इमेज को API पर भेजने से पहले अपने आप मॉडल आर्किटेक्चर के इनपुट आकार में छोटा कर देते हैं।