Florence-2 मॉडल
किसी छवि पर Florence-2 चलाएँ
v2
समर्पित inference सर्वर आवश्यक (GPU अनुशंसित) - आप समर्पित deployment का उपयोग करना चाह सकते हैं
यह Workflow ब्लॉक प्रस्तुत करता है Florence 2, एक Visual Language Model (VLM) जो निम्न सहित, कई प्रकार के कार्य करने में सक्षम है:
ऑब्जेक्ट डिटेक्शन
इंस्टेंस सेगमेंटेशन
छवि कैप्शनिंग
ऑप्टिकल कैरेक्टर रिकॉग्निशन (OCR)
और भी...
नीचे मॉडल द्वारा समर्थित कार्यों की एक व्यापक सूची दी गई है, साथ ही Workflows ecosystem में उनके आउटपुट का उपयोग कैसे करें, इसका विवरण भी:
कार्य विवरण:
कस्टम प्रॉम्प्ट (
कस्टम) - प्रतिक्रिया उत्पन्न करने के लिए मुक्त-रूप प्रॉम्प्ट का उपयोग करें। फाइन-ट्यून किए गए मॉडलों के साथ उपयोगी।पाठ पहचान (OCR) (
ocr) - मॉडल छवि में पाठ को पहचानता हैपाठ पहचान और मान्यता (OCR) (
ocr-with-text-detection) - मॉडल छवि में पाठ क्षेत्रों का पता लगाता है, और फिर प्रत्येक पहचाने गए क्षेत्र पर OCR करता हैकैप्शनिंग (संक्षिप्त) (
caption) - मॉडल छवि का संक्षिप्त विवरण प्रदान करता हैकैप्शनिंग (
detailed-caption) - मॉडल छवि का विस्तृत विवरण प्रदान करता हैकैप्शनिंग (लंबा) (
more-detailed-caption) - मॉडल छवि का बहुत विस्तृत विवरण प्रदान करता हैबिना प्रॉम्प्ट के ऑब्जेक्ट डिटेक्शन (
object-detection) - मॉडल छवि में प्रमुख वस्तुओं के लिए bounding boxes का पता लगाता है और लौटाता हैऑब्जेक्ट डिटेक्शन (
open-vocabulary-object-detection) - मॉडल प्रदान की गई classes के लिए bounding boxes का पता लगाता है और लौटाता हैडिटेक्शन और कैप्शनिंग (
object-detection-and-caption) - मॉडल प्रमुख वस्तुओं का पता लगाता है और उनका कैप्शन बनाता हैप्रॉम्प्ट-आधारित ऑब्जेक्ट डिटेक्शन (
phrase-grounded-object-detection) - पाठ्य प्रॉम्प्ट के आधार पर, मॉडल विवरणों से मेल खाने वाली वस्तुओं का पता लगाता हैप्रॉम्प्ट-आधारित इंस्टेंस सेगमेंटेशन (
phrase-grounded-instance-segmentation) - पाठ्य प्रॉम्प्ट के आधार पर, मॉडल विवरणों से मेल खाने वाली वस्तुओं को सेगमेंट करता हैसेगमेंट बाउंडिंग बॉक्स (
detection-grounded-instance-segmentation) - मॉडल प्रदान किए गए bounding box में वस्तु को polygon में सेगमेंट करता हैबाउंडिंग बॉक्स का वर्गीकरण (
detection-grounded-classification) - मॉडल प्रदान किए गए bounding box के अंदर की वस्तु का वर्गीकरण करता हैबाउंडिंग बॉक्स का कैप्शनिंग (
detection-grounded-caption) - मॉडल प्रदान किए गए bounding box में वस्तु का कैप्शन बनाता हैबाउंडिंग बॉक्स के लिए पाठ पहचान (OCR) (
detection-grounded-ocr) - मॉडल प्रदान किए गए bounding box के अंदर के पाठ पर OCR करता हैरुचि के क्षेत्रों का प्रस्ताव (
region-proposal) - मॉडल छवि में रुचि के क्षेत्र (Bounding Boxes) प्रस्तावित करता है
प्रकार पहचानकर्ता
स्टेप में निम्नलिखित पहचानकर्ता का उपयोग करें "type" फील्ड: roboflow_core/florence_2@v2 अपने वर्कफ़्लो में ब्लॉक को एक स्टेप के रूप में जोड़ने के लिए।
गुण
नाम
प्रकार
विवरण
संदर्भ
name
str
इस स्टेप के लिए एक अद्वितीय पहचानकर्ता दर्ज करें..
❌
task_type
str
मॉडल द्वारा किया जाने वाला कार्य प्रकार। मान आवश्यक पैरामीटर और आउटपुट प्रतिक्रिया निर्धारित करता है..
❌
संकेत
str
Florence-2 मॉडल के लिए पाठ प्रॉम्प्ट।
✅
classes
List[str]
उपयोग की जाने वाली classes की सूची।
✅
grounding_detection
Optional[List[float], List[int]]
Florence-2 मॉडल के लिए ग्राउंडिंग detection. यह स्थिर रूप से प्रदान किया गया bounding box हो सकता है [left_top_x, left_top_y, right_bottom_x, right_bottom_y] या object-detection मॉडल का परिणाम। यदि दूसरा सत्य है, तो एक box चुना जाएगा के आधार पर grounding_selection_mode..
✅
grounding_selection_mode
str
.
❌
model_id
str
उपयोग किया जाने वाला मॉडल।
✅
यह संदर्भ कॉलम यह दर्शाता है कि प्रॉपर्टी को गतिशील मानों के साथ पैरामीटराइज़ किया जा सकता है, जो वर्कफ़्लो रनटाइम में उपलब्ध हैं। अधिक जानकारी के लिए देखें Bindings ।
रनटाइम संगतता
हार्ड - रनटाइम self_hosted_cpu; निष्पादन स्थानीय : GPU की आवश्यकता है; run_locally() CUDA की आवश्यकता वाला मॉडल लोड करता है।
इनपुट और आउटपुट बाइंडिंग्स
उपलब्ध कनेक्शन उसके बाइंडिंग प्रकारों पर निर्भर करते हैं। जाँचें कि कौन-से बाइंडिंग प्रकार Florence-2 मॉडल संस्करण में v2 है।
इनपुट और आउटपुट बाइंडिंग्स
इनपुट
छवियाँ(image): जिस छवि पर अनुमान लगाना है..संकेत(स्ट्रिंग): Florence-2 मॉडल के लिए पाठ प्रॉम्प्ट।classes(list_of_values): उपयोग की जाने वाली classes की सूची।grounding_detection(Union[instance_segmentation_prediction,keypoint_detection_prediction,list_of_values,object_detection_prediction]): Florence-2 मॉडल के लिए ग्राउंडिंग detection. यह स्थिर रूप से प्रदान किया गया bounding box हो सकता है[left_top_x, left_top_y, right_bottom_x, right_bottom_y]या object-detection मॉडल का परिणाम। यदि दूसरा सत्य है, तो एक box चुना जाएगा के आधार परgrounding_selection_mode..model_id(roboflow_model_id): उपयोग किया जाने वाला मॉडल।
आउटपुट
raw_output(Union[स्ट्रिंग,language_model_output]): स्ट्रिंग मान यदिस्ट्रिंगया LLM / VLM आउटपुट यदिlanguage_model_output.पार्स किया गया आउटपुट(शब्दकोश): शब्दकोश।classes(list_of_values): किसी भी प्रकार के मानों की सूची।
v1
समर्पित inference सर्वर आवश्यक (GPU अनुशंसित) - आप समर्पित deployment का उपयोग करना चाह सकते हैं
यह Workflow ब्लॉक प्रस्तुत करता है Florence 2, एक Visual Language Model (VLM) जो निम्न सहित, कई प्रकार के कार्य करने में सक्षम है:
ऑब्जेक्ट डिटेक्शन
इंस्टेंस सेगमेंटेशन
छवि कैप्शनिंग
ऑप्टिकल कैरेक्टर रिकॉग्निशन (OCR)
और भी...
नीचे मॉडल द्वारा समर्थित कार्यों की एक व्यापक सूची दी गई है, साथ ही Workflows ecosystem में उनके आउटपुट का उपयोग कैसे करें, इसका विवरण भी:
कार्य विवरण:
कस्टम प्रॉम्प्ट (
कस्टम) - प्रतिक्रिया उत्पन्न करने के लिए मुक्त-रूप प्रॉम्प्ट का उपयोग करें। फाइन-ट्यून किए गए मॉडलों के साथ उपयोगी।पाठ पहचान (OCR) (
ocr) - मॉडल छवि में पाठ को पहचानता हैपाठ पहचान और मान्यता (OCR) (
ocr-with-text-detection) - मॉडल छवि में पाठ क्षेत्रों का पता लगाता है, और फिर प्रत्येक पहचाने गए क्षेत्र पर OCR करता हैकैप्शनिंग (संक्षिप्त) (
caption) - मॉडल छवि का संक्षिप्त विवरण प्रदान करता हैकैप्शनिंग (
detailed-caption) - मॉडल छवि का विस्तृत विवरण प्रदान करता हैकैप्शनिंग (लंबा) (
more-detailed-caption) - मॉडल छवि का बहुत विस्तृत विवरण प्रदान करता हैबिना प्रॉम्प्ट के ऑब्जेक्ट डिटेक्शन (
object-detection) - मॉडल छवि में प्रमुख वस्तुओं के लिए bounding boxes का पता लगाता है और लौटाता हैऑब्जेक्ट डिटेक्शन (
open-vocabulary-object-detection) - मॉडल प्रदान की गई classes के लिए bounding boxes का पता लगाता है और लौटाता हैडिटेक्शन और कैप्शनिंग (
object-detection-and-caption) - मॉडल प्रमुख वस्तुओं का पता लगाता है और उनका कैप्शन बनाता हैप्रॉम्प्ट-आधारित ऑब्जेक्ट डिटेक्शन (
phrase-grounded-object-detection) - पाठ्य प्रॉम्प्ट के आधार पर, मॉडल विवरणों से मेल खाने वाली वस्तुओं का पता लगाता हैप्रॉम्प्ट-आधारित इंस्टेंस सेगमेंटेशन (
phrase-grounded-instance-segmentation) - पाठ्य प्रॉम्प्ट के आधार पर, मॉडल विवरणों से मेल खाने वाली वस्तुओं को सेगमेंट करता हैसेगमेंट बाउंडिंग बॉक्स (
detection-grounded-instance-segmentation) - मॉडल प्रदान किए गए bounding box में वस्तु को polygon में सेगमेंट करता हैबाउंडिंग बॉक्स का वर्गीकरण (
detection-grounded-classification) - मॉडल प्रदान किए गए bounding box के अंदर की वस्तु का वर्गीकरण करता हैबाउंडिंग बॉक्स का कैप्शनिंग (
detection-grounded-caption) - मॉडल प्रदान किए गए bounding box में वस्तु का कैप्शन बनाता हैबाउंडिंग बॉक्स के लिए पाठ पहचान (OCR) (
detection-grounded-ocr) - मॉडल प्रदान किए गए bounding box के अंदर के पाठ पर OCR करता हैरुचि के क्षेत्रों का प्रस्ताव (
region-proposal) - मॉडल छवि में रुचि के क्षेत्र (Bounding Boxes) प्रस्तावित करता है
प्रकार पहचानकर्ता
स्टेप में निम्नलिखित पहचानकर्ता का उपयोग करें "type" फील्ड: roboflow_core/florence_2@v1 अपने वर्कफ़्लो में ब्लॉक को एक स्टेप के रूप में जोड़ने के लिए।
गुण
नाम
प्रकार
विवरण
संदर्भ
name
str
इस स्टेप के लिए एक अद्वितीय पहचानकर्ता दर्ज करें..
❌
task_type
str
मॉडल द्वारा किया जाने वाला कार्य प्रकार। मान आवश्यक पैरामीटर और आउटपुट प्रतिक्रिया निर्धारित करता है..
❌
संकेत
str
Florence-2 मॉडल के लिए पाठ प्रॉम्प्ट।
✅
classes
List[str]
उपयोग की जाने वाली classes की सूची।
✅
grounding_detection
Optional[List[float], List[int]]
Florence-2 मॉडल के लिए ग्राउंडिंग detection. यह स्थिर रूप से प्रदान किया गया bounding box हो सकता है [left_top_x, left_top_y, right_bottom_x, right_bottom_y] या object-detection मॉडल का परिणाम। यदि दूसरा सत्य है, तो एक box चुना जाएगा के आधार पर grounding_selection_mode..
✅
grounding_selection_mode
str
.
❌
मॉडल संस्करण
str
उपयोग किया जाने वाला मॉडल।
✅
यह संदर्भ कॉलम यह दर्शाता है कि प्रॉपर्टी को गतिशील मानों के साथ पैरामीटराइज़ किया जा सकता है, जो वर्कफ़्लो रनटाइम में उपलब्ध हैं। अधिक जानकारी के लिए देखें Bindings ।
रनटाइम संगतता
हार्ड - रनटाइम self_hosted_cpu; निष्पादन स्थानीय : GPU की आवश्यकता है; run_locally() CUDA की आवश्यकता वाला मॉडल लोड करता है।
इनपुट और आउटपुट बाइंडिंग्स
उपलब्ध कनेक्शन उसके बाइंडिंग प्रकारों पर निर्भर करते हैं। जाँचें कि कौन-से बाइंडिंग प्रकार Florence-2 मॉडल संस्करण में v1 है।
इनपुट और आउटपुट बाइंडिंग्स
इनपुट
छवियाँ(image): जिस छवि पर अनुमान लगाना है..संकेत(स्ट्रिंग): Florence-2 मॉडल के लिए पाठ प्रॉम्प्ट।classes(list_of_values): उपयोग की जाने वाली classes की सूची।grounding_detection(Union[instance_segmentation_prediction,keypoint_detection_prediction,list_of_values,object_detection_prediction]): Florence-2 मॉडल के लिए ग्राउंडिंग detection. यह स्थिर रूप से प्रदान किया गया bounding box हो सकता है[left_top_x, left_top_y, right_bottom_x, right_bottom_y]या object-detection मॉडल का परिणाम। यदि दूसरा सत्य है, तो एक box चुना जाएगा के आधार परgrounding_selection_mode..मॉडल संस्करण(स्ट्रिंग): उपयोग किया जाने वाला मॉडल।
आउटपुट
raw_output(Union[स्ट्रिंग,language_model_output]): स्ट्रिंग मान यदिस्ट्रिंगया LLM / VLM आउटपुट यदिlanguage_model_output.पार्स किया गया आउटपुट(शब्दकोश): शब्दकोश।classes(list_of_values): किसी भी प्रकार के मानों की सूची।
अंतिम अपडेट
क्या यह उपयोगी था?