(Legacy) Serverless Hosted API
हम सिफारिश करते हैं हमारे Serverless Hosted API के V2 का उपयोग करने के लिए। V2 API तेज़ है। नई API के साथ शुरू करने के लिए Serverless Hosted API V2 दस्तावेज़ देखें।
मॉडल समर्थन
निम्नलिखित मॉडल प्रकार Serverless Hosted API (v1) द्वारा समर्थित हैं:
लेटेंसी तुलना (v1 बनाम v2)
Serverless Hosted API को भेजे गए अनुरोधों की end-to-end लेटेंसी कई कारकों पर निर्भर करती है:
मॉडल आर्किटेक्चर, जो निष्पादन समय को प्रभावित करता है
छवियों का आकार और रेज़ल्यूशन, जो अपलोड समय और निष्पादन के दौरान मॉडल इंफरेंस समय को प्रभावित करते हैं
नेटवर्क लेटेंसी और बैंडविड्थ, जो अनुरोध अपलोड समय और प्रतिक्रिया डाउनलोड समय को प्रभावित करते हैं।
किसी विशिष्ट समय पर सेवा सदस्यता और अन्य उपयोगकर्ताओं द्वारा उपयोग, जिससे कतारबद्ध होने की लेटेंसी हो सकती है
हम नीचे दी गई तालिका में v1 बनाम v2 Serverless Hosted API के कुछ प्रतिनिधि बेंचमार्क दिखाते हैं। यह दोनों end-to-end लेटेंसी (E2E) और निष्पादन समय (Exec) दिखाता है। ये संख्याएँ केवल जानकारी के लिए हैं, हम उपयोगकर्ताओं को प्रोत्साहित करते हैं कि वे अपने स्वयं के बेंचमार्क चलाएँ उपयोग करके हमारे inference benchmark tools या उनके अपने कस्टम बेंचमार्क।
yolov8x-640
401 ms
29 ms
4084 ms
821 ms
yolov8m-640
757 ms
21 ms
572 ms
265 ms
yolov8n-640
384 ms
17 ms
312 ms
63 ms
yolov8x-1280
483 ms
97 ms
6431 ms
3032 ms
yolov8m-1280
416 ms
52 ms
1841 ms
1006 ms
yolov8n-1280
428 ms
35 ms
464 ms
157 ms
हम उपयोगकर्ताओं को उनके मॉडल इंफरेंस और वर्कफ़्लो के लिए अपने स्वयं के बेंचमार्क चलाने के लिए प्रोत्साहित करते हैं ताकि उनके विशिष्ट उपयोग मामलों पर वास्तविक मेट्रिक्स प्राप्त हो सकें।
सीमाएँ
Serverless Hosted API (v1), किसी भी विशिष्ट कार्य प्रकार से स्वतंत्र रूप से, 5MB तक की फाइलें स्वीकार करता है। यह सीमा, लेकिन केवल इन्हीं तक सीमित नहीं, image फ़ाइल आकार और किसी भी संलग्न अनुरोध जानकारी को शामिल करती है।
यदि अनुरोध बहुत बड़े हैं, तो हम किसी भी संलग्न छवि का आकार कम करने की सिफारिश करते हैं। आम तौर पर ontvangst पर हमारी सर्वरों पर प्राप्त होने के बाद छवियों को मॉडल आर्किटेक्चर के स्वीकार किए गए इनपुट आकार में डाउनसाइज़ किया जाता है, इसलिए यह खराब प्रदर्शन का कारण नहीं बनता। हमारे कुछ SDKs, जैसे Python SDK, स्वचालित रूप से छवियों को API पर भेजने से पहले मॉडल आर्किटेक्चर के इनपुट आकार में डाउनसाइज़ कर देते हैं।
Last updated
Was this helpful?