LMM

ChatGPT-4v जैसे बड़े मल्टीमोडल मॉडल को चलाएँ।

अप्रचलित

यह ब्लॉक अप्रचलित है और भविष्य के रिलीज़ में हटाया जा सकता है।

एक छवि और पाठ के साथ एक बड़े मल्टीमॉडल मॉडल (LMM) से एक प्रश्न पूछें।

आप LMMBlock के लिए मनमाने पाठ प्रॉम्प्ट निर्दिष्ट कर सकते हैं।

LLMBlock दो LMMs का समर्थन करता है:

• Vision के साथ OpenAI का GPT-4;

GPT-4 with Vision मॉडल का उपयोग करने के लिए आपको अपनी OpenAI API कुंजी प्रदान करनी होगी।

यदि आप किसी छवि को एक या अधिक श्रेणियों में वर्गीकृत करना चाहते हैं, तो हम समर्पित LMMForClassificationBlock का उपयोग करने की अनुशंसा करते हैं।

प्रकार पहचानकर्ता

स्टेप में निम्नलिखित पहचानकर्ता का उपयोग करें "type" फ़ील्ड: roboflow_core/lmm@v1 अपने वर्कफ़्लो में ब्लॉक को एक स्टेप के रूप में जोड़ने के लिए।

गुण

नाम	प्रकार	विवरण	संदर्भ
name	str	इस स्टेप के लिए एक विशिष्ट पहचानकर्ता दर्ज करें..	❌
प्रॉम्प्ट	str	LMM मोड के लिए अप्रतिबंधित पाठ प्रॉम्प्ट रखता है।	✅
lmm_type	str	उपयोग किए जाने वाले LMM का प्रकार।	✅
lmm_config	LMMConfig	LMM का विन्यास।	❌
remote_api_key	str	LMM मॉडल को कॉल करने के लिए आवश्यक API कुंजी रखता है - विकास की वर्तमान अवस्था में, हमें OpenAI कुंजी की आवश्यकता होती है जब lmm_type=gpt_4v..	✅
json_output	Dict[str, str]	अनुरोधित आउटपुट फ़ील्ड के नाम को उसके विवरण से मैप करने वाली डिक्शनरी रखता है।	❌

यह संदर्भ स्तंभ यह इंगित करता है कि संपत्ति को वर्कफ़्लो रनटाइम में उपलब्ध गतिशील मानों के साथ पैरामीटराइज़ किया जा सकता है वर्कफ़्लो रनटाइम। देखें बाइंडिंग्स अधिक जानकारी के लिए।

रनटाइम संगतता

requires_internet - air-gapped / offline deployments : यह ब्लॉक ऐसी सेवा पर निर्भर करता है जो पूरी तरह ऑफ़लाइन / air-gapped deployments से पहुँचा नहीं जा सकता।

कठिन - रनटाइम hosted_serverless; निष्पादन दूरस्थ : Roboflow Hosted Serverless पर LMM_ENABLED=False: /llm_v1 एंडपॉइंट पंजीकृत नहीं है, इसलिए run_remotely() 404 लौटाता है।

इनपुट और आउटपुट बाइंडिंग्स

उपलब्ध कनेक्शन उसके बाइंडिंग प्रकारों पर निर्भर करते हैं। देखें कि कौन-से बाइंडिंग प्रकार LMM संस्करण v1 है।

इनपुट और आउटपुट बाइंडिंग्स

• इनपुट

  • छवियाँ (छवि): जिस छवि पर अनुमान लगाना है..

  • प्रॉम्प्ट (string): LMM मोड के लिए अप्रतिबंधित पाठ प्रॉम्प्ट रखता है।

  • lmm_type (string): उपयोग किए जाने वाले LMM का प्रकार।

  • remote_api_key (Union[secret, string]): LMM मॉडल को कॉल करने के लिए आवश्यक API कुंजी रखता है - विकास की वर्तमान अवस्था में, हमें OpenAI कुंजी की आवश्यकता होती है जब lmm_type=gpt_4v..

• आउटपुट

  • parent_id (parent_id): स्टेप आउटपुट के लिए पैरेंट का पहचानकर्ता।

  • root_parent_id (parent_id): स्टेप आउटपुट के लिए पैरेंट का पहचानकर्ता।

  • छवि (image_metadata): सुपरविज़न द्वारा आवश्यक छवि मेटाडेटा वाली डिक्शनरी।

  • structured_output (शब्दकोश): शब्दकोश।

  • raw_output (string): स्ट्रिंग मान.

  • * (*): किसी भी तत्व का समतुल्य।

उदाहरण JSON परिभाषा

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/lmm@v1",
	    "images": "$inputs.image",
	    "prompt": "my prompt",
	    "lmm_type": "gpt_4v",
	    "lmm_config": {
	        "gpt_image_detail": "low",
	        "gpt_model_version": "gpt-4o",
	        "max_tokens": 200
	    },
	    "remote_api_key": "xxx-xxx",
	    "json_output": {
	        "count": "तस्वीर में बिल्लियों की संख्या"
	    }
	}