> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/hi/supported-models/florence-2.md).

# Florence 2

हमारे सर्वरलेस क्लाउड API के माध्यम से Microsoft के Florence 2 मल्टीमॉडल मॉडल का उपयोग करें

हम समर्थन करते हैं [Microsoft के Florence 2](https://huggingface.co/microsoft/Florence-2-base), एक बहु-माध्यमी विज़न-भाषा मॉडल, हमारे [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api). Florence 2 कैप्शनिंग, ऑब्जेक्ट डिटेक्शन, सेगमेंटेशन, और OCR का समर्थन टास्क प्रॉम्प्ट्स के माध्यम से करता है (जैसे `<CAPTION>`, `<OD>`, `<OCR>`, `<REFERRING_EXPRESSION_SEGMENTATION>`).

## Florence 2 के प्रीट्रेंड उपनाम

उपनाम को इस रूप में उपयोग करें `model_id` अपने अनुरोध में और रनटाइम इसे संबंधित प्रीट्रेंड वेट्स में हल कर देता है।

<table data-search="false"><thead><tr><th>उपनाम</th></tr></thead><tbody><tr><td><code>florence-2-base</code></td></tr><tr><td><code>florence-2-large</code></td></tr></tbody></table>

## Florence 2 सटीकता

आधिकारिक मॉडल कार्ड्स से प्रमुख ज़ीरो-शॉट मेट्रिक्स ([बेस](https://huggingface.co/microsoft/Florence-2-base), [लार्ज](https://huggingface.co/microsoft/Florence-2-large)):

<table data-header-hidden data-search="false"><thead><tr><th></th><th></th><th></th></tr></thead><tbody><tr><td>बेंचमार्क</td><td><code>florence-2-base</code></td><td><code>florence-2-large</code></td></tr><tr><td>COCO कैप्शन (CIDEr)</td><td>133.0</td><td>135.6</td></tr><tr><td>COCO डिटेक्शन (mAP)</td><td>34.7</td><td>37.5</td></tr><tr><td>RefCOCO (सटीकता)</td><td>53.9</td><td>56.3</td></tr></tbody></table>

## Florence 2 इन्फरेंस गति

लेटेंसी मापी गई [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) 1x NVIDIA L4 पर, बैच आकार 1 के साथ, प्रॉम्प्ट से greedy decoding द्वारा बिल्कुल 128 टोकन उत्पन्न करते हुए `<CAPTION>` लेटेंसी आउटपुट लंबाई के साथ स्केल होती है, इसलिए अन्य लंबाइयों का अनुमान लगाने के लिए tokens/sec का उपयोग करें।

<table data-search="false"><thead><tr><th>उपनाम</th><th>लेटेंसी, 128 टोकन (ms)</th><th>टोकन/सेकंड</th></tr></thead><tbody><tr><td><code>florence-2-base</code></td><td>652</td><td>198</td></tr><tr><td><code>florence-2-large</code></td><td>1120</td><td>115</td></tr></tbody></table>

## Florence 2 API

Florence 2 साझा `/infer/lmm` एंडपॉइंट के माध्यम से चलता है। इसे सीधे HTTP एंडपॉइंट के माध्यम से कॉल करें `curl`, या [`inference-sdk`](https://docs.roboflow.com/reference/inference/inference-sdk) रैपर के साथ।

{% tabs %}
{% tab title="HTTP (curl)" icon="webhook" %}
{% stepper %}
{% step %}

### अपनी API कुंजी प्राप्त करें

Roboflow खाता बनाएं, अपनी कुंजी यहाँ खोजें [Roboflow API सेटिंग्स पेज](https://app.roboflow.com/settings/api) और इसे अपने शेल में उपलब्ध कराएँ:

```bash
export ROBOFLOW_API_KEY="your-key-here"
```

{% endstep %}

{% step %}

### मॉडल चलाएँ

कॉल करें `/infer/lmm` एंडपॉइंट को टास्क प्रॉम्प्ट के साथ उपयोग करते हुए `curl`:

```bash
curl --location 'https://serverless.roboflow.com/infer/lmm' \
  --header 'Content-Type: application/json' \
  --header "Authorization: Bearer $ROBOFLOW_API_KEY" \
  --data '{
    "image": {"type": "url", "value": "https://media.roboflow.com/quickstart/dog.jpeg"},
    "model_id": "florence-2-base",
    "prompt": "<CAPTION>"
  }'
```

{% endstep %}
{% endstepper %}
{% endtab %}

{% tab title="SDK (Python)" icon="python" %}
{% stepper %}
{% step %}

### अपनी API कुंजी प्राप्त करें

Roboflow खाता बनाएं, अपनी कुंजी यहाँ खोजें [Roboflow API सेटिंग्स पेज](https://app.roboflow.com/settings/api) और इसे अपने शेल में उपलब्ध कराएँ:

```bash
export ROBOFLOW_API_KEY="your-key-here"
```

{% endstep %}

{% step %}

### निर्भरताएँ इंस्टॉल करें

यह पैकेज मॉडल को कॉल करता है:

```bash
pip install -U inference-sdk supervision
```

{% endstep %}

{% step %}

### मॉडल चलाएँ

टास्क प्रॉम्प्ट के साथ LMM इन्फरेंस एंडपॉइंट को कॉल करें:

```python
import os
import supervision as sv
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

image = sv.load_image_from_url("https://media.roboflow.com/quickstart/dog.jpeg")

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
).configure(InferenceConfiguration(api_key_transport="header"))

result = client.infer_lmm(
    inference_input=image,
    model_id="florence-2-base",
    prompt="<CAPTION>",
)

print(result["response"])  # {'<CAPTION>': 'एक आदमी अपनी पीठ पर कुत्ता लेकर चल रहा है.'}
```

<figure><img src="https://3815805500-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-8dc777e0881e2540937c583a215e5ae85e8c7eec%2Fflorence-2-caption.webp?alt=media" alt=""><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}
{% endtab %}
{% endtabs %}

{% hint style="info" %}
सेट करें `api_url` को अपने परिनियोजन लक्ष्य से मिलाएँ:

* `https://serverless.roboflow.com` Serverless Cloud API के लिए।
* `http://localhost:9001` एक स्थानीय [Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) सर्वर।
* आपका [समर्पित परिनियोजन](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments) निजी एंडपॉइंट के लिए URL।
  {% endhint %}

स्वैप करें `<CAPTION>` किसी भी समर्थित टास्क प्रॉम्प्ट के लिए (उदाहरण के लिए `<DETAILED_CAPTION>`, `<OD>`, `<OCR>`, `<OPEN_VOCABULARY_DETECTION>`, `<REFERRING_EXPRESSION_SEGMENTATION>`) ताकि कैप्शनिंग, डिटेक्शन, OCR, और सेगमेंटेशन टास्क के बीच स्विच किया जा सके।

स्व-होस्टेड डिप्लॉयमेंट और टास्क प्रॉम्प्ट्स की पूरी सूची के लिए, देखें [Inference दस्तावेज़](https://docs.roboflow.com/deployment/self-hosted/self-hosted).

## Florence 2 टास्क प्रॉम्प्ट्स

Florence 2 टास्क को प्रॉम्प्ट टोकन के माध्यम से बदलता है। निम्न में से एक को `प्रॉम्प्ट`:

| कार्य                          | प्रॉम्प्ट                                                    |
| ------------------------------ | ------------------------------------------------------------ |
| ऑब्जेक्ट डिटेक्शन              | `<OD>`                                                       |
| घने क्षेत्र का कैप्शनिंग       | `<DENSE_REGION_CAPTION>`                                     |
| छवि कैप्शनिंग                  | `<CAPTION>`, `<DETAILED_CAPTION>`, `<MORE_DETAILED_CAPTION>` |
| क्षेत्र प्रस्ताव               | `<REGION_PROPOSAL>`                                          |
| वाक्यांश ग्राउंडिंग            | `<CAPTION_TO_PHRASE_GROUNDING>`                              |
| संदर्भित अभिव्यक्ति सेगमेंटेशन | `<REFERRING_EXPRESSION_SEGMENTATION>`                        |
| क्षेत्र से सेगमेंटेशन          | `<REGION_TO_SEGMENTATION>`                                   |
| ओपन-वोकैबुलरी डिटेक्शन         | `<OPEN_VOCABULARY_DETECTION>`                                |
| क्षेत्र से विवरण               | `<REGION_TO_DESCRIPTION>`                                    |
| OCR                            | `<OCR>`                                                      |
| क्षेत्र के साथ OCR             | `<OCR_WITH_REGION>`                                          |

## स्व-होस्टेड Inference के साथ Florence 2 चलाएँ

Florence 2 को सीधे भी लोड किया जा सकता है [`inference`](https://docs.roboflow.com/deployment/self-hosted/self-hosted) पैकेज।

{% stepper %}
{% step %}

### पैकेज इंस्टॉल करें

```bash
pip install "inference[transformers]"
```

उपयोग करें `inference-gpu[transformers]` एक GPU मशीन पर।
{% endstep %}

{% step %}

### मॉडल चलाएँ

```python
from inference import get_model

model = get_model("florence-2-base", api_key="YOUR_API_KEY")

result = model.infer(
    "https://media.roboflow.com/inference/seawithdock.jpeg",
    prompt="<CAPTION>",
)

print(result[0].response)
```

स्वैप करें `<CAPTION>` ऊपर दी गई तालिका के किसी भी टास्क प्रॉम्प्ट के लिए।
{% endstep %}
{% endstepper %}

### वर्कफ़्लोज़ में निष्पादन मोड

जब इसे किसी [वर्कफ़्लो](https://docs.roboflow.com/workflows)में उपयोग किया जाता है, तो Florence 2 दो में से किसी एक मोड में चलता है:

* **स्थानीय निष्पादन**: मॉडल आपके Inference सर्वर पर चलता है (GPU की अनुशंसा की जाती है)।
* **रिमोट निष्पादन**: मॉडल को दूरस्थ Inference सर्वर पर HTTP के माध्यम से कॉल किया जाता है।

## कस्टम वेट्स अपलोड करें

Roboflow के बाहर आपने जो Florence 2 मॉडल प्रशिक्षित किया है, उसे चलाने के लिए, उसके वेट्स को इस वाले Project पर अपलोड करें [Roboflow CLI](https://docs.roboflow.com/reference/platform/cli/install-and-set-up-the-cli):

```bash
roboflow upload_model -p my-project -v 1 -t florence-2-base -m ./florence-2-finetuned
```

सेट करें `-t` को `florence-2-large` लार्ज मॉडल के लिए। देखें [कस्टम वेट्स अपलोड करें](https://docs.roboflow.com/models/hi/model-weights/upload-custom-weights.md) Python SDK और प्रशिक्षण संस्करण आवश्यकताओं के लिए।
