CLIP तुलना

CLIP image और text embeddings की तुलना करें।

v2

छवियों को वर्गीकृत करने के लिए OpenAI CLIP ज़ीरो-शॉट वर्गीकरण मॉडल का उपयोग करें।

यह ब्लॉक एक छवि और टेक्स्ट प्रॉम्प्ट्स की एक सूची स्वीकार करता है। फिर यह ब्लॉक प्रदान की गई छवि के लिए प्रत्येक टेक्स्ट लेबल की समानता लौटाता है।

यह ब्लॉक एक फाइन-ट्यून किए गए वर्गीकरण मॉडल को प्रशिक्षित किए बिना छवियों को वर्गीकृत करने के लिए उपयोगी है। उदाहरण के लिए, आप किसी छवि में वाहन के प्रकार को वर्गीकृत करने के लिए CLIP का उपयोग कर सकते हैं, या यह पता लगा सकते हैं कि किसी छवि में NSFW सामग्री है या नहीं।

प्रकार पहचानकर्ता

स्टेप में निम्नलिखित पहचानकर्ता का उपयोग करें "type" फ़ील्ड: roboflow_core/clip_comparison@v2 अपने वर्कफ़्लो में ब्लॉक को एक स्टेप के रूप में जोड़ने के लिए।

गुण

नाम	प्रकार	विवरण	संदर्भ
name	str	वर्कफ़्लोज़ में चरण का विशिष्ट नाम।	❌
classes	List[str]	प्रत्येक इनपुट छवि के विरुद्ध समानता की गणना करने के लिए वर्गों की सूची।	✅
version	str	CLIP मॉडल का संस्करण।	✅

यह संदर्भ स्तंभ यह इंगित करता है कि संपत्ति को वर्कफ़्लो रनटाइम में उपलब्ध गतिशील मानों के साथ पैरामीटराइज़ किया जा सकता है वर्कफ़्लो रनटाइम। देखें बाइंडिंग्स अधिक जानकारी के लिए।

इनपुट और आउटपुट बाइंडिंग्स

उपलब्ध कनेक्शन उसके बाइंडिंग प्रकारों पर निर्भर करते हैं। देखें कि कौन-से बाइंडिंग प्रकार CLIP तुलना संस्करण v2 है।

इनपुट और आउटपुट बाइंडिंग्स

• इनपुट

  • छवियाँ (छवि): जिस छवि पर अनुमान लगाना है..

  • classes (list_of_values): प्रत्येक इनपुट छवि के विरुद्ध समानता की गणना करने के लिए वर्गों की सूची।

  • version (string): CLIP मॉडल का संस्करण।

• आउटपुट

  • समानताएँ (list_of_values): किसी भी प्रकार के मानों की सूची।

  • अधिकतम_समानता (float_zero_to_one): float दायरे में मान [0.0, 1.0].

  • सबसे_समान_वर्ग (string): स्ट्रिंग मान.

  • न्यूनतम_समानता (float_zero_to_one): float दायरे में मान [0.0, 1.0].

  • सबसे_कम_समान_वर्ग (string): स्ट्रिंग मान.

  • वर्गीकरण_पूर्वानुमान (classification_prediction): क्लासिफ़ायर से प्राप्त पूर्वानुमान।

  • parent_id (parent_id): स्टेप आउटपुट के लिए पैरेंट का पहचानकर्ता।

  • root_parent_id (parent_id): स्टेप आउटपुट के लिए पैरेंट का पहचानकर्ता।

उदाहरण JSON परिभाषा

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/clip_comparison@v2",
	    "images": "$inputs.image",
	    "classes": [
	        "a",
	        "b",
	        "c"
	    ],
	    "version": "ViT-B-16"
	}

v1

छवियों को वर्गीकृत करने के लिए OpenAI CLIP ज़ीरो-शॉट वर्गीकरण मॉडल का उपयोग करें।

यह ब्लॉक एक छवि और टेक्स्ट प्रॉम्प्ट्स की एक सूची स्वीकार करता है। फिर यह ब्लॉक प्रदान की गई छवि के लिए प्रत्येक टेक्स्ट लेबल की समानता लौटाता है।

यह ब्लॉक एक फाइन-ट्यून किए गए वर्गीकरण मॉडल को प्रशिक्षित किए बिना छवियों को वर्गीकृत करने के लिए उपयोगी है। उदाहरण के लिए, आप किसी छवि में वाहन के प्रकार को वर्गीकृत करने के लिए CLIP का उपयोग कर सकते हैं, या यह पता लगा सकते हैं कि किसी छवि में NSFW सामग्री है या नहीं।

प्रकार पहचानकर्ता

स्टेप में निम्नलिखित पहचानकर्ता का उपयोग करें "type" फ़ील्ड: roboflow_core/clip_comparison@v1 अपने वर्कफ़्लो में ब्लॉक को एक स्टेप के रूप में जोड़ने के लिए।

गुण

नाम	प्रकार	विवरण	संदर्भ
name	str	वर्कफ़्लोज़ में चरण का विशिष्ट नाम।	❌
पाठ	List[str]	प्रत्येक इनपुट छवि के विरुद्ध समानता की गणना करने के लिए पाठों की सूची।	✅

यह संदर्भ स्तंभ यह इंगित करता है कि संपत्ति को वर्कफ़्लो रनटाइम में उपलब्ध गतिशील मानों के साथ पैरामीटराइज़ किया जा सकता है वर्कफ़्लो रनटाइम। देखें बाइंडिंग्स अधिक जानकारी के लिए।

इनपुट और आउटपुट बाइंडिंग्स

उपलब्ध कनेक्शन उसके बाइंडिंग प्रकारों पर निर्भर करते हैं। देखें कि कौन-से बाइंडिंग प्रकार CLIP तुलना संस्करण v1 है।

इनपुट और आउटपुट बाइंडिंग्स

• इनपुट

  • छवियाँ (छवि): जिस छवि पर अनुमान लगाना है..

  • पाठ (list_of_values): प्रत्येक इनपुट छवि के विरुद्ध समानता की गणना करने के लिए पाठों की सूची।

• आउटपुट

  • समानता (list_of_values): किसी भी प्रकार के मानों की सूची।

  • parent_id (parent_id): स्टेप आउटपुट के लिए पैरेंट का पहचानकर्ता।

  • root_parent_id (parent_id): स्टेप आउटपुट के लिए पैरेंट का पहचानकर्ता।

  • पूर्वानुमान_प्रकार (पूर्वानुमान_प्रकार): पूर्वानुमान के प्रकार वाला स्ट्रिंग मान।

उदाहरण JSON परिभाषा

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/clip_comparison@v1",
	    "images": "$inputs.image",
	    "texts": [
	        "a",
	        "b",
	        "c"
	    ]
	}