Florence 2

हमारे Serverless Hosted API के माध्यम से Microsoft के Florence 2 multimodal model का उपयोग करें

हम समर्थन करते हैं Microsoft का Florence 2, एक मल्टीमोडल विज़न-लैंग्वेज मॉडल, हमारे Serverless Hosted API. Florence 2 captioning, object detection, segmentation, और OCR को task prompts (जैसे <CAPTION>, <OD>, <OCR>, <REFERRING_EXPRESSION_SEGMENTATION>).

डिफ़ॉल्ट उपनाम

उपनाम को model_id के रूप में अपने अनुरोध में उपयोग करें और runtime इसे संबंधित pretrained weights में resolve कर देता है।

उपनाम

florence-2-base

florence-2-large

सटीकता

आधिकारिक model cards से प्रमुख zero-shot मेट्रिक्स (base, large):

बेंचमार्क

florence-2-base

florence-2-large

COCO Caption (CIDEr)

133.0

135.6

COCO detection (mAP)

34.7

37.5

RefCOCO (accuracy)

53.9

56.3

Inference speed

Latency मापी गई Roboflow Inference 1x NVIDIA L4 पर, batch size 1 के साथ, और <CAPTION> prompt से greedy decoding का उपयोग करके ठीक 128 tokens generate करते हुए। Latency आउटपुट लंबाई के साथ scale होती है, इसलिए अन्य लंबाइयों का अनुमान लगाने के लिए tokens/sec का उपयोग करें।

उपनाम

विलंबता, 128 tokens (ms)

टोकन/सेकंड

florence-2-base

652

198

florence-2-large

1120

115

कोड नमूना

Florence 2 साझा /infer/lmm endpoint के माध्यम से चलता है। इसे सीधे HTTP endpoint के जरिए curl, या inference-sdk रैपर के साथ।

अपनी API Key प्राप्त करें

एक Roboflow खाता बनाएं, अपनी key यहाँ पर ढूँढें Roboflow API settings page और इसे अपने shell में उपलब्ध कराएँ:

export ROBOFLOW_API_KEY="your-key-here"

मॉडल चलाएँ

को कॉल करें /infer/lmm endpoint को curl:

curl --location 'https://serverless.roboflow.com/infer/lmm' \
  --header 'Content-Type: application/json' \
  --data '{
    \"api_key\": \"'\"$ROBOFLOW_API_KEY\"'\",
    "image": {"type": "url", "value": "https://media.roboflow.com/quickstart/dog.jpeg"},
    "model_id": "florence-2-base",
    "prompt": "<CAPTION>"
  }'

अपनी API Key प्राप्त करें

export ROBOFLOW_API_KEY="your-key-here"

निर्भरताएँ इंस्टॉल करें

यह पैकेज मॉडल को कॉल करता है:

pip install inference-sdk

मॉडल चलाएँ

LMM inference endpoint को एक task prompt के साथ कॉल करें:

import os
import cv2
import numpy as np
import requests
from inference_sdk import InferenceHTTPClient

content = requests.get("https://media.roboflow.com/quickstart/dog.jpeg").content
image = cv2.imdecode(np.frombuffer(content, np.uint8), cv2.IMREAD_COLOR)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)

result = client.infer_lmm(
    inference_input=image,
    model_id="florence-2-base",
    prompt="<CAPTION>",
)

print(result["response"])  # {'<CAPTION>': 'पीठ पर कुत्ता लिए एक आदमी.'}

सेट करें api_url को अपने deployment target से मिलाएँ:

https://serverless.roboflow.com Serverless Hosted API के लिए।
http://localhost:9001 एक local Inference server.
आपका Dedicated Deployment एक private endpoint के लिए URL.

स्वैप करें <CAPTION> को किसी भी समर्थित task prompt से (उदाहरण के लिए <DETAILED_CAPTION>, <OD>, <OCR>, <OPEN_VOCABULARY_DETECTION>, <REFERRING_EXPRESSION_SEGMENTATION>) ताकि captioning, detection, OCR, और segmentation tasks के बीच स्विच किया जा सके।

स्व-होस्टेड deployment और task prompts की पूरी सूची के लिए, देखें Inference documentation.

पिछलाSAM2 अगलाDepth Anything V2

अंतिम अपडेट 7 दिन पहले

क्या यह उपयोगी था?