For the complete documentation index, see llms.txt. This page is also available as Markdown.

Florence 2

हमारे सर्वरलेस क्लाउड API के माध्यम से Microsoft के Florence 2 मल्टीमॉडल मॉडल का उपयोग करें

हम समर्थन करते हैं Microsoft के Florence 2, एक बहु-माध्यमी विज़न-भाषा मॉडल, हमारे Serverless Cloud API. Florence 2 कैप्शनिंग, ऑब्जेक्ट डिटेक्शन, सेगमेंटेशन, और OCR का समर्थन टास्क प्रॉम्प्ट्स के माध्यम से करता है (जैसे <CAPTION>, <OD>, <OCR>, <REFERRING_EXPRESSION_SEGMENTATION>).

Florence 2 के प्रीट्रेंड उपनाम

उपनाम को इस रूप में उपयोग करें model_id अपने अनुरोध में और रनटाइम इसे संबंधित प्रीट्रेंड वेट्स में हल कर देता है।

उपनाम

florence-2-base

florence-2-large

Florence 2 सटीकता

आधिकारिक मॉडल कार्ड्स से प्रमुख ज़ीरो-शॉट मेट्रिक्स (बेस, लार्ज):

बेंचमार्क

florence-2-base

florence-2-large

COCO कैप्शन (CIDEr)

133.0

135.6

COCO डिटेक्शन (mAP)

34.7

37.5

RefCOCO (सटीकता)

53.9

56.3

Florence 2 इन्फरेंस गति

लेटेंसी मापी गई Roboflow Inference 1x NVIDIA L4 पर, बैच आकार 1 के साथ, प्रॉम्प्ट से greedy decoding द्वारा बिल्कुल 128 टोकन उत्पन्न करते हुए <CAPTION> लेटेंसी आउटपुट लंबाई के साथ स्केल होती है, इसलिए अन्य लंबाइयों का अनुमान लगाने के लिए tokens/sec का उपयोग करें।

उपनाम
लेटेंसी, 128 टोकन (ms)
टोकन/सेकंड

florence-2-base

652

198

florence-2-large

1120

115

Florence 2 API

Florence 2 साझा /infer/lmm एंडपॉइंट के माध्यम से चलता है। इसे सीधे HTTP एंडपॉइंट के माध्यम से कॉल करें curl, या inference-sdk रैपर के साथ।

1

अपनी API कुंजी प्राप्त करें

Roboflow खाता बनाएं, अपनी कुंजी यहाँ खोजें Roboflow API सेटिंग्स पेज और इसे अपने शेल में उपलब्ध कराएँ:

2

मॉडल चलाएँ

कॉल करें /infer/lmm एंडपॉइंट को टास्क प्रॉम्प्ट के साथ उपयोग करते हुए curl:

1

अपनी API कुंजी प्राप्त करें

Roboflow खाता बनाएं, अपनी कुंजी यहाँ खोजें Roboflow API सेटिंग्स पेज और इसे अपने शेल में उपलब्ध कराएँ:

2

निर्भरताएँ इंस्टॉल करें

यह पैकेज मॉडल को कॉल करता है:

3

मॉडल चलाएँ

टास्क प्रॉम्प्ट के साथ LMM इन्फरेंस एंडपॉइंट को कॉल करें:

सेट करें api_url को अपने परिनियोजन लक्ष्य से मिलाएँ:

स्वैप करें <CAPTION> किसी भी समर्थित टास्क प्रॉम्प्ट के लिए (उदाहरण के लिए <DETAILED_CAPTION>, <OD>, <OCR>, <OPEN_VOCABULARY_DETECTION>, <REFERRING_EXPRESSION_SEGMENTATION>) ताकि कैप्शनिंग, डिटेक्शन, OCR, और सेगमेंटेशन टास्क के बीच स्विच किया जा सके।

स्व-होस्टेड डिप्लॉयमेंट और टास्क प्रॉम्प्ट्स की पूरी सूची के लिए, देखें Inference दस्तावेज़.

Florence 2 टास्क प्रॉम्प्ट्स

Florence 2 टास्क को प्रॉम्प्ट टोकन के माध्यम से बदलता है। निम्न में से एक को प्रॉम्प्ट:

कार्य
प्रॉम्प्ट

ऑब्जेक्ट डिटेक्शन

<OD>

घने क्षेत्र का कैप्शनिंग

<DENSE_REGION_CAPTION>

छवि कैप्शनिंग

<CAPTION>, <DETAILED_CAPTION>, <MORE_DETAILED_CAPTION>

क्षेत्र प्रस्ताव

<REGION_PROPOSAL>

वाक्यांश ग्राउंडिंग

<CAPTION_TO_PHRASE_GROUNDING>

संदर्भित अभिव्यक्ति सेगमेंटेशन

<REFERRING_EXPRESSION_SEGMENTATION>

क्षेत्र से सेगमेंटेशन

<REGION_TO_SEGMENTATION>

ओपन-वोकैबुलरी डिटेक्शन

<OPEN_VOCABULARY_DETECTION>

क्षेत्र से विवरण

<REGION_TO_DESCRIPTION>

OCR

<OCR>

क्षेत्र के साथ OCR

<OCR_WITH_REGION>

स्व-होस्टेड Inference के साथ Florence 2 चलाएँ

Florence 2 को सीधे भी लोड किया जा सकता है inference पैकेज।

1

पैकेज इंस्टॉल करें

उपयोग करें inference-gpu[transformers] एक GPU मशीन पर।

2

मॉडल चलाएँ

स्वैप करें <CAPTION> ऊपर दी गई तालिका के किसी भी टास्क प्रॉम्प्ट के लिए।

वर्कफ़्लोज़ में निष्पादन मोड

जब इसे किसी वर्कफ़्लोमें उपयोग किया जाता है, तो Florence 2 दो में से किसी एक मोड में चलता है:

  • स्थानीय निष्पादन: मॉडल आपके Inference सर्वर पर चलता है (GPU की अनुशंसा की जाती है)।

  • रिमोट निष्पादन: मॉडल को दूरस्थ Inference सर्वर पर HTTP के माध्यम से कॉल किया जाता है।

कस्टम वेट्स अपलोड करें

Roboflow के बाहर आपने जो Florence 2 मॉडल प्रशिक्षित किया है, उसे चलाने के लिए, उसके वेट्स को इस वाले Project पर अपलोड करें Roboflow CLI:

सेट करें -t को florence-2-large लार्ज मॉडल के लिए। देखें कस्टम वेट्स अपलोड करें Python SDK और प्रशिक्षण संस्करण आवश्यकताओं के लिए।

अंतिम अपडेट

क्या यह उपयोगी था?