OpenAI-संगत LLM

किसी भी OpenAI-संगत API एंडपॉइंट पर प्रॉम्प्ट भेजें।

किसी भी OpenAI-संगत API एंडपॉइंट (जैसे स्थानीय Qwen, vLLM, Ollama, LM Studio, या कोई भी सेवा जो OpenAI chat completions API को लागू करती है) को एक प्रॉम्प्ट भेजें।

यह ब्लॉक कैसे काम करता है

1. आप एक प्रदान करते हैं आधार URL (जैसे http://localhost:8000/v1) और एक मॉडल नाम.

2. एक लिखें निर्देश - वह पाठ जो मॉडल प्राप्त करता है।

3. के अंतर्गत पंक्तियाँ जोड़ें इनपुट्स स्टेप आउटपुट (छवियाँ, डिटेक्शन, पाठ) को अनुरोध में भेजने के लिए। छवि इनपुट base64-एन्कोड किए जाते हैं और vision content parts के रूप में भेजे जाते हैं। छवियों की सूची प्रत्येक छवि के लिए एक vision part बन जाती है।

4. गैर-छवि इनपुट स्ट्रिंग्स में बदले जाते हैं। उन्हें निर्देश पाठ में जोड़ने के लिए, Instruction फ़ील्ड की सहायता-पाठ में दिखाए गए placeholder syntax का उपयोग करके इनपुट को उसके नाम से संदर्भित करें।

5. वैकल्पिक रूप से लागू करें UQL ऑपरेशन ताकि सम्मिलन से पहले इनपुट मानों को रूपांतरित किया जा सके।

छवि प्रबंधन

• A WorkflowImageData मान JPEG-एन्कोड किया जाता है और एक image_url भाग के रूप में भेजा जाता है।

• कच्चे JPEG bytes (जैसे Image Stack ब्लॉक से) सीधे भेजे जाते हैं।

• इनमें से किसी की भी सूची को कई image_url भागों में फैला दिया जाता है।

यदि किसी छवि इनपुट का निर्देश पाठ में नाम से भी संदर्भ दिया गया हो, तो placeholder को पाठ से हटा दिया जाता है - छवि केवल एक vision part के रूप में भेजी जाती है।

प्रकार पहचानकर्ता

स्टेप में निम्नलिखित पहचानकर्ता का उपयोग करें "type" फ़ील्ड: roboflow_core/openai_compatible@v1 अपने वर्कफ़्लो में ब्लॉक को एक स्टेप के रूप में जोड़ने के लिए।

गुण

नाम	प्रकार	विवरण	संदर्भ
name	str	इस स्टेप के लिए एक विशिष्ट पहचानकर्ता दर्ज करें..	❌
base_url	str	OpenAI-संगत सर्वर का URL, /v1 सहित..	✅
model_name	str	सर्वर को भेजा गया मॉडल पहचानकर्ता..	✅
api_key	str	API कुंजी, यदि एंडपॉइंट को इसकी आवश्यकता हो..	✅
सिस्टम प्रॉम्प्ट	str	वैकल्पिक सिस्टम संदेश जो मॉडल के व्यवहार को निर्धारित करता है..	✅
प्रॉम्प्ट	str	मॉडल को भेजा गया पाठ..	✅
prompt_parameters	Dict[str, Union[bool, float, int, str]]	अनुरोध में शामिल किए जाने वाले स्टेप आउटपुट (छवियाँ या पाठ)..	✅
prompt_parameters_operations	Dict[str, List[Union[ClassificationPropertyExtract, ConvertDictionaryToJSON, ConvertImageToBase64, ConvertImageToJPEG, DetectionsFilter, DetectionsOffset, DetectionsPropertyExtract, DetectionsRename, DetectionsSelection, DetectionsShift, DetectionsToDictionary, Divide, ExtractDetectionProperty, ExtractFrameMetadata, ExtractImageProperty, LookupTable, Multiply, NumberRound, NumericSequenceAggregate, PickDetectionsByParentClass, RandomNumber, SequenceAggregate, SequenceApply, SequenceElementsCount, SequenceLength, SequenceMap, SortDetections, StringMatches, StringSubSequence, StringToLowerCase, StringToUpperCase, TimestampToISOFormat, ToBoolean, ToNumber, ToString]]]	उपयोग से पहले इनपुट पर लागू किए जाने वाले वैकल्पिक UQL ऑपरेशन..	❌
max_tokens	int	मॉडल द्वारा उत्पन्न किए जा सकने वाले अधिकतम टोकन..	❌
temperature	float	सैंपलिंग तापमान, 0.0 से 2.0 तक..	✅
extra_body	Dict[Any, Any]	OpenAI SDK के extra_body तर्क के रूप में अग्रेषित अतिरिक्त JSON..	❌

यह संदर्भ स्तंभ यह इंगित करता है कि संपत्ति को वर्कफ़्लो रनटाइम में उपलब्ध गतिशील मानों के साथ पैरामीटराइज़ किया जा सकता है वर्कफ़्लो रनटाइम। देखें बाइंडिंग्स अधिक जानकारी के लिए।

रनटाइम संगतता

requires_internet - air-gapped / offline deployments : यह ब्लॉक ऐसी सेवा पर निर्भर करता है जो पूरी तरह ऑफ़लाइन / air-gapped deployments से पहुँचा नहीं जा सकता।

इनपुट और आउटपुट बाइंडिंग्स

उपलब्ध कनेक्शन उसके बाइंडिंग प्रकारों पर निर्भर करते हैं। देखें कि कौन-से बाइंडिंग प्रकार OpenAI-संगत LLM संस्करण v1 है।

इनपुट और आउटपुट बाइंडिंग्स

• इनपुट

  • base_url (string): OpenAI-संगत सर्वर का URL, /v1 सहित..

  • model_name (string): सर्वर को भेजा गया मॉडल पहचानकर्ता..

  • api_key (Union[secret, string]): API कुंजी, यदि एंडपॉइंट को इसकी आवश्यकता हो..

  • सिस्टम प्रॉम्प्ट (string): वैकल्पिक सिस्टम संदेश जो मॉडल के व्यवहार को निर्धारित करता है..

  • प्रॉम्प्ट (string): मॉडल को भेजा गया पाठ..

  • prompt_parameters (*): अनुरोध में शामिल किए जाने वाले स्टेप आउटपुट (छवियाँ या पाठ)..

  • temperature (float): सैंपलिंग तापमान, 0.0 से 2.0 तक..

• आउटपुट

  • आउटपुट (Union[string, language_model_output]): स्ट्रिंग मान यदि string या LLM / VLM आउटपुट यदि language_model_output.

  • error_status (string): स्ट्रिंग मान.

उदाहरण JSON परिभाषा

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/openai_compatible@v1",
	    "base_url": "http://localhost:8000/v1",
	    "model_name": "Qwen/Qwen2.5-VL-7B-Instruct",
	    "api_key": "xxx-xxx",
	    "system_prompt": "आप एक मददगार सहायक हैं।",
	    "prompt": "छवि में जो आप देखते हैं उसका वर्णन करें।",
	    "prompt_parameters": {
	        "detections": "$steps.model.predictions",
	        "frames": "$steps.image_stack.frames"
	    },
	    "prompt_parameters_operations": {
	        "detections": [
	            {
	                "property_name": "class_name",
	                "type": "DetectionsPropertyExtract"
	            }
	        ]
	    },
	    "max_tokens": "<block_does_not_provide_example>",
	    "temperature": "<block_does_not_provide_example>",
	    "extra_body": {
	        "chat_template_kwargs": {
	            "enable_thinking": false
	        },
	        "guided_choice": [
	            "A",
	            "B",
	            "C",
	            "D"
	        ]
	    }
	}