For the complete documentation index, see llms.txt. This page is also available as Markdown.

Hosted API (विरासत)

Hosted API (विरासत), इसके समर्थित models, और माइग्रेशन मार्गदर्शन का अवलोकन।

मॉडल समर्थन

Hosted API (Legacy) द्वारा निम्नलिखित मॉडल प्रकार समर्थित हैं:

लेटेंसी तुलना

Hosted API (Legacy) को भेजे गए अनुरोधों की end-to-end लेटेंसी कई कारकों पर निर्भर करती है:

  1. मॉडल आर्किटेक्चर, जिसका निष्पादन समय पर प्रभाव पड़ता है

  2. छवियों का आकार और रिज़ॉल्यूशन, जो अपलोड समय और निष्पादन के दौरान मॉडल inference समय को प्रभावित करता है

  3. नेटवर्क लेटेंसी और बैंडविड्थ, जो अनुरोध अपलोड समय और प्रतिक्रिया डाउनलोड समय को प्रभावित करती है।

  4. किसी भी विशेष समय पर सेवा सदस्यता और अन्य उपयोगकर्ताओं द्वारा उपयोग, जिसके कारण queueing latency हो सकती है

नीचे दी गई तालिका में हम Hosted API (Legacy) और Serverless Cloud API के कुछ प्रतिनिधि benchmarks दिखाते हैं। इसमें end-to-end latency (E2E) के साथ-साथ execution time (Exec) भी दिखाया गया है। ये संख्याएँ केवल जानकारी के लिए हैं, हम उपयोगकर्ताओं को उपयोग करके अपने स्वयं के benchmarks करने के लिए प्रोत्साहित करते हैं हमारे inference benchmark tools या अपने स्वयं के custom benchmarks।

मॉडल
V2 (E2E)
V2 (Exec)
V1 (E2E)
V1 (Exec)

yolov8x-640

401 ms

29 ms

4084 ms

821 ms

yolov8m-640

757 ms

21 ms

572 ms

265 ms

yolov8n-640

384 ms

17 ms

312 ms

63 ms

yolov8x-1280

483 ms

97 ms

6431 ms

3032 ms

yolov8m-1280

416 ms

52 ms

1841 ms

1006 ms

yolov8n-1280

428 ms

35 ms

464 ms

157 ms

हम उपयोगकर्ताओं को उनके विशिष्ट use cases पर वास्तविक मेट्रिक्स प्राप्त करने के लिए अपने model inferences और workflows के लिए अपने स्वयं के benchmarks चलाने के लिए प्रोत्साहित करते हैं।

सीमाएँ

Hosted API (Legacy), विशिष्ट कार्य प्रकार की परवाह किए बिना, 5MB तक की फ़ाइलें स्वीकार करता है। इस सीमा में, अन्य बातों के अलावा, छवि फ़ाइल का आकार और संलग्न कोई भी अनुरोध जानकारी शामिल है।

यदि अनुरोध बहुत बड़े हों, तो हम संलग्न छवियों का आकार कम करने की सलाह देते हैं। इससे आमतौर पर प्रदर्शन खराब नहीं होगा, क्योंकि हमारी सर्वरों पर प्राप्त होने के बाद छवियों का आकार वैसे भी मॉडल आर्किटेक्चर द्वारा स्वीकार किए जाने वाले इनपुट आकार तक कम कर दिया जाता है। हमारे कुछ SDK, जैसे Python SDK, API को भेजे जाने से पहले छवियों का आकार स्वचालित रूप से मॉडल आर्किटेक्चर के इनपुट आकार तक कम कर देते हैं।

अंतिम अपडेट

क्या यह उपयोगी था?