Florence 2
हमारे सर्वरलेस क्लाउड API के माध्यम से Microsoft के Florence 2 मल्टीमॉडल मॉडल का उपयोग करें
हम समर्थन करते हैं Microsoft के Florence 2, एक बहु-माध्यमी विज़न-भाषा मॉडल, हमारे Serverless Cloud API. Florence 2 कैप्शनिंग, ऑब्जेक्ट डिटेक्शन, सेगमेंटेशन, और OCR का समर्थन टास्क प्रॉम्प्ट्स के माध्यम से करता है (जैसे <CAPTION>, <OD>, <OCR>, <REFERRING_EXPRESSION_SEGMENTATION>).
Florence 2 के प्रीट्रेंड उपनाम
उपनाम को इस रूप में उपयोग करें model_id अपने अनुरोध में और रनटाइम इसे संबंधित प्रीट्रेंड वेट्स में हल कर देता है।
florence-2-base
florence-2-large
Florence 2 सटीकता
आधिकारिक मॉडल कार्ड्स से प्रमुख ज़ीरो-शॉट मेट्रिक्स (बेस, लार्ज):
बेंचमार्क
florence-2-base
florence-2-large
COCO कैप्शन (CIDEr)
133.0
135.6
COCO डिटेक्शन (mAP)
34.7
37.5
RefCOCO (सटीकता)
53.9
56.3
Florence 2 इन्फरेंस गति
लेटेंसी मापी गई Roboflow Inference 1x NVIDIA L4 पर, बैच आकार 1 के साथ, प्रॉम्प्ट से greedy decoding द्वारा बिल्कुल 128 टोकन उत्पन्न करते हुए <CAPTION> लेटेंसी आउटपुट लंबाई के साथ स्केल होती है, इसलिए अन्य लंबाइयों का अनुमान लगाने के लिए tokens/sec का उपयोग करें।
florence-2-base
652
198
florence-2-large
1120
115
Florence 2 API
Florence 2 साझा /infer/lmm एंडपॉइंट के माध्यम से चलता है। इसे सीधे HTTP एंडपॉइंट के माध्यम से कॉल करें curl, या inference-sdk रैपर के साथ।
अपनी API कुंजी प्राप्त करें
Roboflow खाता बनाएं, अपनी कुंजी यहाँ खोजें Roboflow API सेटिंग्स पेज और इसे अपने शेल में उपलब्ध कराएँ:
अपनी API कुंजी प्राप्त करें
Roboflow खाता बनाएं, अपनी कुंजी यहाँ खोजें Roboflow API सेटिंग्स पेज और इसे अपने शेल में उपलब्ध कराएँ:
स्वैप करें <CAPTION> किसी भी समर्थित टास्क प्रॉम्प्ट के लिए (उदाहरण के लिए <DETAILED_CAPTION>, <OD>, <OCR>, <OPEN_VOCABULARY_DETECTION>, <REFERRING_EXPRESSION_SEGMENTATION>) ताकि कैप्शनिंग, डिटेक्शन, OCR, और सेगमेंटेशन टास्क के बीच स्विच किया जा सके।
स्व-होस्टेड डिप्लॉयमेंट और टास्क प्रॉम्प्ट्स की पूरी सूची के लिए, देखें Inference दस्तावेज़.
Florence 2 टास्क प्रॉम्प्ट्स
Florence 2 टास्क को प्रॉम्प्ट टोकन के माध्यम से बदलता है। निम्न में से एक को प्रॉम्प्ट:
ऑब्जेक्ट डिटेक्शन
<OD>
घने क्षेत्र का कैप्शनिंग
<DENSE_REGION_CAPTION>
छवि कैप्शनिंग
<CAPTION>, <DETAILED_CAPTION>, <MORE_DETAILED_CAPTION>
क्षेत्र प्रस्ताव
<REGION_PROPOSAL>
वाक्यांश ग्राउंडिंग
<CAPTION_TO_PHRASE_GROUNDING>
संदर्भित अभिव्यक्ति सेगमेंटेशन
<REFERRING_EXPRESSION_SEGMENTATION>
क्षेत्र से सेगमेंटेशन
<REGION_TO_SEGMENTATION>
ओपन-वोकैबुलरी डिटेक्शन
<OPEN_VOCABULARY_DETECTION>
क्षेत्र से विवरण
<REGION_TO_DESCRIPTION>
OCR
<OCR>
क्षेत्र के साथ OCR
<OCR_WITH_REGION>
स्व-होस्टेड Inference के साथ Florence 2 चलाएँ
Florence 2 को सीधे भी लोड किया जा सकता है inference पैकेज।
वर्कफ़्लोज़ में निष्पादन मोड
जब इसे किसी वर्कफ़्लोमें उपयोग किया जाता है, तो Florence 2 दो में से किसी एक मोड में चलता है:
स्थानीय निष्पादन: मॉडल आपके Inference सर्वर पर चलता है (GPU की अनुशंसा की जाती है)।
रिमोट निष्पादन: मॉडल को दूरस्थ Inference सर्वर पर HTTP के माध्यम से कॉल किया जाता है।
कस्टम वेट्स अपलोड करें
Roboflow के बाहर आपने जो Florence 2 मॉडल प्रशिक्षित किया है, उसे चलाने के लिए, उसके वेट्स को इस वाले Project पर अपलोड करें Roboflow CLI:
सेट करें -t को florence-2-large लार्ज मॉडल के लिए। देखें कस्टम वेट्स अपलोड करें Python SDK और प्रशिक्षण संस्करण आवश्यकताओं के लिए।
अंतिम अपडेट
क्या यह उपयोगी था?
