> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/workflows/hi/blocks/blocks/run-a-model/open-ai-compatible-llm.md).
# OpenAI-संगत LLM
किसी भी OpenAI-संगत API एंडपॉइंट पर प्रॉम्प्ट भेजें।
किसी भी OpenAI-संगत API एंडपॉइंट (जैसे स्थानीय Qwen, vLLM, Ollama, LM Studio, या कोई भी सेवा जो OpenAI chat completions API को लागू करती है) को एक प्रॉम्प्ट भेजें।
## यह ब्लॉक कैसे काम करता है
1. आप एक प्रदान करते हैं **आधार URL** (जैसे `http://localhost:8000/v1`) और एक **मॉडल नाम**.
2. एक लिखें **निर्देश** - वह पाठ जो मॉडल प्राप्त करता है।
3. के अंतर्गत पंक्तियाँ जोड़ें **इनपुट्स** स्टेप आउटपुट (छवियाँ, डिटेक्शन, पाठ) को अनुरोध में भेजने के लिए। छवि इनपुट base64-एन्कोड किए जाते हैं और vision content parts के रूप में भेजे जाते हैं। छवियों की सूची प्रत्येक छवि के लिए एक vision part बन जाती है।
4. गैर-छवि इनपुट स्ट्रिंग्स में बदले जाते हैं। उन्हें निर्देश पाठ में जोड़ने के लिए, Instruction फ़ील्ड की सहायता-पाठ में दिखाए गए placeholder syntax का उपयोग करके इनपुट को उसके नाम से संदर्भित करें।
5. वैकल्पिक रूप से लागू करें **UQL ऑपरेशन** ताकि सम्मिलन से पहले इनपुट मानों को रूपांतरित किया जा सके।
## छवि प्रबंधन
* A `WorkflowImageData` मान JPEG-एन्कोड किया जाता है और एक `image_url` भाग के रूप में भेजा जाता है।
* कच्चे JPEG `bytes` (जैसे Image Stack ब्लॉक से) सीधे भेजे जाते हैं।
* इनमें से किसी की भी सूची को कई `image_url` भागों में फैला दिया जाता है।
यदि किसी छवि इनपुट का निर्देश पाठ में नाम से भी संदर्भ दिया गया हो, तो placeholder को पाठ से हटा दिया जाता है - छवि केवल एक vision part के रूप में भेजी जाती है।
### प्रकार पहचानकर्ता
स्टेप में निम्नलिखित पहचानकर्ता का उपयोग करें `"type"` फ़ील्ड: `roboflow_core/openai_compatible@v1` अपने वर्कफ़्लो में ब्लॉक को एक स्टेप के रूप में जोड़ने के लिए।
### गुण
| **नाम** | **प्रकार** | **विवरण** | संदर्भ |
| ------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------ | ------ |
| `name` | `str` | इस स्टेप के लिए एक विशिष्ट पहचानकर्ता दर्ज करें.. | ❌ |
| `base_url` | `str` | OpenAI-संगत सर्वर का URL, /v1 सहित.. | ✅ |
| `model_name` | `str` | सर्वर को भेजा गया मॉडल पहचानकर्ता.. | ✅ |
| `api_key` | `str` | API कुंजी, यदि एंडपॉइंट को इसकी आवश्यकता हो.. | ✅ |
| `सिस्टम प्रॉम्प्ट` | `str` | वैकल्पिक सिस्टम संदेश जो मॉडल के व्यवहार को निर्धारित करता है.. | ✅ |
| `प्रॉम्प्ट` | `str` | मॉडल को भेजा गया पाठ.. | ✅ |
| `prompt_parameters` | `Dict[str, Union[bool, float, int, str]]` | अनुरोध में शामिल किए जाने वाले स्टेप आउटपुट (छवियाँ या पाठ).. | ✅ |
| `prompt_parameters_operations` | `Dict[str, List[Union[ClassificationPropertyExtract, ConvertDictionaryToJSON, ConvertImageToBase64, ConvertImageToJPEG, DetectionsFilter, DetectionsOffset, DetectionsPropertyExtract, DetectionsRename, DetectionsSelection, DetectionsShift, DetectionsToDictionary, Divide, ExtractDetectionProperty, ExtractFrameMetadata, ExtractImageProperty, LookupTable, Multiply, NumberRound, NumericSequenceAggregate, PickDetectionsByParentClass, RandomNumber, SequenceAggregate, SequenceApply, SequenceElementsCount, SequenceLength, SequenceMap, SortDetections, StringMatches, StringSubSequence, StringToLowerCase, StringToUpperCase, TimestampToISOFormat, ToBoolean, ToNumber, ToString]]]` | उपयोग से पहले इनपुट पर लागू किए जाने वाले वैकल्पिक UQL ऑपरेशन.. | ❌ |
| `max_tokens` | `int` | मॉडल द्वारा उत्पन्न किए जा सकने वाले अधिकतम टोकन.. | ❌ |
| `temperature` | `float` | सैंपलिंग तापमान, 0.0 से 2.0 तक.. | ✅ |
| `extra_body` | `Dict[Any, Any]` | OpenAI SDK के extra\_body तर्क के रूप में अग्रेषित अतिरिक्त JSON.. | ❌ |
यह **संदर्भ** स्तंभ यह इंगित करता है कि संपत्ति को वर्कफ़्लो रनटाइम में उपलब्ध गतिशील मानों के साथ पैरामीटराइज़ किया जा सकता है `वर्कफ़्लो` रनटाइम। देखें *बाइंडिंग्स* अधिक जानकारी के लिए।
### रनटाइम संगतता
`requires_internet` - air-gapped / offline deployments : यह ब्लॉक ऐसी सेवा पर निर्भर करता है जो पूरी तरह ऑफ़लाइन / air-gapped deployments से पहुँचा नहीं जा सकता।
### इनपुट और आउटपुट बाइंडिंग्स
उपलब्ध कनेक्शन उसके बाइंडिंग प्रकारों पर निर्भर करते हैं। देखें कि कौन-से बाइंडिंग प्रकार `OpenAI-संगत LLM` संस्करण `v1` है।
इनपुट और आउटपुट बाइंडिंग्स
* इनपुट
* `base_url` ([*`string`*](/workflows/hi/developer-guide/developer-guide/kinds/string.md)): OpenAI-संगत सर्वर का URL, /v1 सहित..
* `model_name` ([*`string`*](/workflows/hi/developer-guide/developer-guide/kinds/string.md)): सर्वर को भेजा गया मॉडल पहचानकर्ता..
* `api_key` (*Union\[*[*`secret`*](/workflows/hi/developer-guide/developer-guide/kinds/secret.md)*,* [*`string`*](/workflows/hi/developer-guide/developer-guide/kinds/string.md)*]*): API कुंजी, यदि एंडपॉइंट को इसकी आवश्यकता हो..
* `सिस्टम प्रॉम्प्ट` ([*`string`*](/workflows/hi/developer-guide/developer-guide/kinds/string.md)): वैकल्पिक सिस्टम संदेश जो मॉडल के व्यवहार को निर्धारित करता है..
* `प्रॉम्प्ट` ([*`string`*](/workflows/hi/developer-guide/developer-guide/kinds/string.md)): मॉडल को भेजा गया पाठ..
* `prompt_parameters` ([*`*`*](/workflows/hi/developer-guide/developer-guide/kinds/wildcard.md)): अनुरोध में शामिल किए जाने वाले स्टेप आउटपुट (छवियाँ या पाठ)..
* `temperature` ([*`float`*](/workflows/hi/developer-guide/developer-guide/kinds/float.md)): सैंपलिंग तापमान, 0.0 से 2.0 तक..
* आउटपुट
* `आउटपुट` (*Union\[*[*`string`*](/workflows/hi/developer-guide/developer-guide/kinds/string.md)*,* [*`language_model_output`*](/workflows/hi/developer-guide/developer-guide/kinds/language-model-output.md)*]*): स्ट्रिंग मान यदि `string` या LLM / VLM आउटपुट यदि `language_model_output`.
* `error_status` ([`string`](/workflows/hi/developer-guide/developer-guide/kinds/string.md)): स्ट्रिंग मान.
उदाहरण JSON परिभाषा
```json
{
"name": "",
"type": "roboflow_core/openai_compatible@v1",
"base_url": "http://localhost:8000/v1",
"model_name": "Qwen/Qwen2.5-VL-7B-Instruct",
"api_key": "xxx-xxx",
"system_prompt": "आप एक मददगार सहायक हैं।",
"prompt": "छवि में जो आप देखते हैं उसका वर्णन करें।",
"prompt_parameters": {
"detections": "$steps.model.predictions",
"frames": "$steps.image_stack.frames"
},
"prompt_parameters_operations": {
"detections": [
{
"property_name": "class_name",
"type": "DetectionsPropertyExtract"
}
]
},
"max_tokens": "",
"temperature": "",
"extra_body": {
"chat_template_kwargs": {
"enable_thinking": false
},
"guided_choice": [
"A",
"B",
"C",
"D"
]
}
}
```