Serverless Hosted API V2

Run Workflows and Model Inference on GPU-accelerated infrastructure in the Roboflow cloud.

Roboflow पर तैनात मॉडल्स के पास एक REST API उपलब्ध है जिसके माध्यम से आप छवियों पर inference चला सकते हैं। यह तैनाती विधि उन वातावरणों के लिए आदर्श है जहाँ आपके तैनाती डिवाइस पर लगातार इंटरनेट कनेक्शन उपलब्ध हो।

आपकी परियोजना से संबंधित API आपके साथ स्केल करती है: जैसे-जैसे आपकी परियोजना बढ़ेगी और आपकी inference आवश्यकताएँ बढ़ेंगी, आपकी API भी बढ़ेगी।

Serverless Hosted API V2 हमारी सबसे नयी API पेशकश है। यह V1 से तेज़ है और Florence-2 और SAM-2 जैसे GPU की आवश्यकता वाले मॉडल्स के साथ काम करता है।

Workflow में API का उपयोग करें

REST API के साथ उपयोग करें

बेंचमार्क

Serverless Hosted API V2 को भेजे गए अनुरोधों की end-to-end latency कई कारकों पर निर्भर करती है:

1. मॉडल आर्किटेक्चर, जो निष्पादन समय को प्रभावित करता है

2. छवियों का आकार और रिज़ोल्यूशन जो अपलोड समय और निष्पादन के दौरान मॉडल inference समय को प्रभावित करते हैं

3. नेटवर्क latency और बैंडविड्थ, जो अनुरोध अपलोड समय और प्रतिक्रिया डाउनलोड समय को प्रभावित करते हैं।

4. किसी विशिष्ट समय पर सेवा सदस्यता और अन्य उपयोगकर्ताओं द्वारा उपयोग, जो queueing latency का कारण बन सकता है

हमने Serverless Hosted API V2 और Hosted API V1 पर किए गए कुछ प्रतिनिधि बेंचमार्क नीचे दी गई तालिका में दिखाए हैं। Serverless Hosted API V2 और Hosted Inference (V1) के परिणाम end-to-end latency (E2E) और execution time (Exec) दोनों दिखाते हैं। ये संख्याएँ केवल जानकारी के लिए हैं, हम उपयोगकर्ताओं को प्रोत्साहित करते हैं कि वे अपने स्वयं के बेंचमार्क चलाएँ उपयोग करके हमारे inference benchmark tools या उनके अपने कस्टम बेंचमार्क।

मॉडल	V2 (E2E)	V2 (Exec)	V1 (E2E)	V1 (Exec)
yolov8x-640	401 ms	29 ms	4084 ms	821 ms
yolov8m-640	757 ms	21 ms	572 ms	265 ms
yolov8n-640	384 ms	17 ms	312 ms	63 ms
yolov8x-1280	483 ms	97 ms	6431 ms	3032 ms
yolov8m-1280	416 ms	52 ms	1841 ms	1006 ms
yolov8n-1280	428 ms	35 ms	464 ms	157 ms

हम उपयोगकर्ताओं को उनके मॉडल इनफेरेंस और Workflows के लिए अपने स्वयं के बेंचमार्क चलाने के लिए प्रोत्साहित करते हैं ताकि उनके विशिष्ट उपयोग-मामलों पर वास्तविक मेट्रिक्स प्राप्त हो सकें।

सीमाएँ

हमारी Serverless Hosted API V2 के लिए, आप 20MB तक की फाइलें अपलोड कर सकते हैं। चूँकि यह एक नई API है, आप उच्च रिज़ोल्यूशन इमेजेस के साथ सीमाओं का सामना कर सकते हैं। यदि आपको कोई समस्या आती है, तो कृपया अपने enterprise support संपर्क से संपर्क करें या एक संदेश पोस्ट करें forum.

उन मामलों में जहाँ अनुरोध बहुत बड़े होते हैं, हम किसी भी संलग्न छवि का आकार कम करने की सलाह देते हैं। आम तौर पर इससे खराब प्रदर्शन नहीं होगा क्योंकि छवियों का आकार हमारे सर्वरों पर प्राप्त होने के बाद मॉडल आर्किटेक्चर द्वारा स्वीकार किए जाने वाले इनपुट आकार तक कम कर दिया जाता है। हमारे कुछ SDKs, जैसे Python SDK, छवियों का आकार स्वचालित रूप से मॉडल आर्किटेक्चर के इनपुट आकार पर API को भेजने से पहले कम कर देते हैं।