वर्गीकरण के लिए LMM

वर्गीकरण के लिए ChatGPT-4v जैसे बड़े बहु-माध्यम मॉडल को चलाएँ।

अप्रचलित

यह ब्लॉक अप्रचलित है और भविष्य के रिलीज़ में हटाया जा सकता है।

एक बड़े मल्टीमोडल मॉडल (LMM) का उपयोग करके एक छवि को एक या अधिक श्रेणियों में वर्गीकृत करें।

आप किसी LMMBlock के लिए मनचाही श्रेणियाँ निर्दिष्ट कर सकते हैं।

LLMBlock दो LMMs का समर्थन करता है:

• विज़न के साथ OpenAI का GPT-4।

GPT-4 with Vision मॉडल का उपयोग करने के लिए आपको अपनी OpenAI API कुंजी प्रदान करनी होगी।

प्रकार पहचानकर्ता

स्टेप में निम्नलिखित पहचानकर्ता का उपयोग करें "type" फ़ील्ड: roboflow_core/lmm_for_classification@v1 अपने वर्कफ़्लो में ब्लॉक को एक स्टेप के रूप में जोड़ने के लिए।

गुण

नाम	प्रकार	विवरण	संदर्भ
name	str	इस स्टेप के लिए एक विशिष्ट पहचानकर्ता दर्ज करें..	❌
lmm_type	str	उपयोग किए जाने वाले LMM का प्रकार।	✅
classes	List[str]	LMM द्वारा जिन श्रेणियों के विरुद्ध वर्गीकरण किया जाएगा, उनकी सूची।	✅
lmm_config	LMMConfig	LMM का विन्यास।	❌
remote_api_key	str	LMM मॉडल को कॉल करने के लिए आवश्यक API कुंजी रखता है - विकास की वर्तमान अवस्था में, हमें OpenAI कुंजी की आवश्यकता होती है जब lmm_type=gpt_4v..	✅

यह संदर्भ स्तंभ यह इंगित करता है कि संपत्ति को वर्कफ़्लो रनटाइम में उपलब्ध गतिशील मानों के साथ पैरामीटराइज़ किया जा सकता है वर्कफ़्लो रनटाइम। देखें बाइंडिंग्स अधिक जानकारी के लिए।

रनटाइम संगतता

requires_internet - air-gapped / offline deployments : यह ब्लॉक ऐसी सेवा पर निर्भर करता है जो पूरी तरह ऑफ़लाइन / air-gapped deployments से पहुँचा नहीं जा सकता।

कठिन - रनटाइम hosted_serverless; निष्पादन दूरस्थ : Roboflow Hosted Serverless पर LMM_ENABLED=False: /llm_v1 एंडपॉइंट पंजीकृत नहीं है, इसलिए run_remotely() 404 लौटाता है।

इनपुट और आउटपुट बाइंडिंग्स

उपलब्ध कनेक्शन उसके बाइंडिंग प्रकारों पर निर्भर करते हैं। देखें कि कौन-से बाइंडिंग प्रकार वर्गीकरण के लिए LMM संस्करण v1 है।

इनपुट और आउटपुट बाइंडिंग्स

• इनपुट

  • छवियाँ (छवि): जिस छवि पर अनुमान लगाना है..

  • lmm_type (string): उपयोग किए जाने वाले LMM का प्रकार।

  • classes (list_of_values): उन श्रेणियों की सूची जिनके विरुद्ध LMM वर्गीकृत करेगा।

  • remote_api_key (Union[secret, string]): LMM मॉडल को कॉल करने के लिए आवश्यक API कुंजी रखता है - विकास की वर्तमान अवस्था में, हमें OpenAI कुंजी की आवश्यकता होती है जब lmm_type=gpt_4v..

• आउटपुट

  • raw_output (string): स्ट्रिंग मान.

  • शीर्ष (top_class): वर्गीकरण मॉडल द्वारा अनुमानित शीर्ष श्रेणी का प्रतिनिधित्व करने वाला स्ट्रिंग मान।

  • parent_id (parent_id): स्टेप आउटपुट के लिए पैरेंट का पहचानकर्ता।

  • root_parent_id (parent_id): स्टेप आउटपुट के लिए पैरेंट का पहचानकर्ता।

  • छवि (image_metadata): सुपरविज़न द्वारा आवश्यक छवि मेटाडेटा वाली डिक्शनरी।

  • पूर्वानुमान_प्रकार (पूर्वानुमान_प्रकार): पूर्वानुमान के प्रकार वाला स्ट्रिंग मान।

उदाहरण JSON परिभाषा

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/lmm_for_classification@v1",
	    "images": "$inputs.image",
	    "lmm_type": "gpt_4v",
	    "classes": [
	        "a",
	        "b"
	    ],
	    "lmm_config": {
	        "gpt_image_detail": "low",
	        "gpt_model_version": "gpt-4o",
	        "max_tokens": 200
	    },
	    "remote_api_key": "xxx-xxx"
	}