> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/self-hosted.md). # Self-Hosted Deployment ओपन सोर्स computer vision deployment framework Inference के साथ अपने स्वयं के hardware पर Roboflow models और Workflows चलाएँ। [इन्फरेंस](https://github.com/roboflow/inference) एक ओपन-सोर्स कंप्यूटर विज़न डिप्लॉयमेंट हब है। यह मॉडल और वर्कफ़्लो सर्व करता है, वीडियो स्ट्रीम्स को प्रबंधित करता है, और CPU तथा GPU के लिए इन्फरेंस को अनुकूलित करता है। जब आपको स्थानीय प्रोसेसिंग, लेटेंसी और संसाधनों पर नियंत्रण, या ऑफ़लाइन डिप्लॉयमेंट की आवश्यकता हो, तब इसे स्वयं-होस्ट करें। Apache 2.0 लाइसेंस प्राप्त कोर Roboflow के होस्टेड APIs को भी शक्ति देता है। स्वयं-होस्टेड इन्फरेंस क्रेडिट का उपयोग नहीं करता। जो इमेज और वीडियो स्ट्रीम आप अपने हार्डवेयर पर चलाते हैं, वे निःशुल्क हैं, और Credit Usage पेज उन्हें legacy के रूप में बिना किसी शुल्क के सूचीबद्ध करता है। प्रतिबंधित लाइसेंस वाले मॉडल (उदा.: AGPL-3.0) के लिए व्यावसायिक स्वयं-होस्टिंग हेतु एक व्यावसायिक लाइसेंस की आवश्यकता होती है। वह लाइसेंस एक एंटरप्राइज़ ऐड-ऑन है। Roboflow-प्रबंधित क्लाउड डिप्लॉयमेंट में यह आपके प्लान के साथ शामिल होता है। देखें [Roboflow लाइसेंसिंग](https://roboflow.com/licensing). {% hint style="info" %} स्वयं-होस्टिंग का अर्थ है कि आप इन्फ्रास्ट्रक्चर का प्रबंधन करते हैं। यदि आप चाहें कि Roboflow सर्वर चलाए, तो देखें [समर्पित डिप्लॉयमेंट्स](/deployment/hi/roboflow-cloud/dedicated-deployments.md) या [सर्वरलेस क्लाउड API](/deployment/hi/roboflow-cloud/serverless-api.md)और विकल्पों की पूरी [तुलना](/deployment/hi/choosing-a-deployment.md). {% endhint %} ## एक रास्ता चुनें अपने हार्डवेयर पर मॉडल चलाने के तीन तरीके हैं। अधिकांश प्रोजेक्ट्स Inference Server का उपयोग करते हैं।
कवर इमेज
Inference Serverएक Docker कंटेनर जो HTTP के माध्यम से मॉडल और वर्कफ़्लो सर्व करता है।img-card-selfhosted-server.svgInference Server
Inference LibraryThe inference अपने प्रोसेस में मॉडल चलाने के लिए Python पैकेज।img-card-selfhosted-library.svgInference Library
अन्य SDKsवेब ब्राउज़र में, iOS पर, या एम्बेडेड डिवाइसों पर मॉडल चलाएँ।img-card-sdks-more.svgअन्य SDKs
जब एक से अधिक क्लाइंट या भाषा को भविष्यवाणियों की आवश्यकता हो, जब आप मॉडल को अपने एप्लिकेशन की निर्भरताओं से अलग रखना चाहते हों, या जब आप edge डिवाइसों पर डिप्लॉय करें, तब सर्वर का उपयोग करें।
Roboflow Inference architecture diagram

जहाँ Inference आपके एप्लिकेशन, आपके मॉडल्स, और Roboflow प्लेटफ़ॉर्म के बीच स्थित है

## मॉडल को स्थानीय रूप से चलाएँ अधिकांश प्रोजेक्ट्स के लिए, Docker में Inference Server चलाएँ और इसके साथ अनुरोध भेजें `inference-sdk`. यह SDK एक Python HTTP क्लाइंट है जो आपके एप्लिकेशन को Inference Server से जोड़ता है। जब आपको मॉडल्स को सीधे अपने Python प्रोसेस के अंदर लोड और चलाना हो, तब Inference Library का उपयोग करें। दोनों रास्ते समान `model_id` मान स्वीकार करते हैं, इसलिए आप बाद में इनके बीच स्विच कर सकते हैं। ### मॉडल IDs The `model_id` पैरामीटर हो सकता है: * एक [प्री-ट्रेन्ड मॉडल उपनाम](/models/hi/pretrained-aliases.md)उदाहरण के लिए `rfdetr-small` या `rfdetr-large` * आपका अपना [Roboflow से फाइन-ट्यून किया गया मॉडल](https://app.gitbook.com/s/wdr4k0gUcsVnXVoafYcQ/train/model-ids)उदाहरण के लिए `my-project/1` * एक [Universe मॉडल](https://docs.roboflow.com/datasets/universe/universe/find-a-model-on-universe)उदाहरण के लिए `soccer-players-xy9vk/2` फाइन-ट्यून किए गए मॉडल और Universe मॉडल के लिए एक [API key](https://docs.roboflow.com/reference/authentication/authentication/find-your-roboflow-api-key). {% tabs %} {% tab title="Inference Server" icon="docker" %} ### इंस्टॉल करें सर्वर को शुरू करें [Inference CLI](https://docs.roboflow.com/reference/inference/inference-cli). यह आपके हार्डवेयर का पता लगाता है और सुरक्षित डिफ़ॉल्ट्स के साथ सही Docker इमेज खींचता है: ```bash pip install inference-cli && inference server start ``` फिर HTTP क्लाइंट इंस्टॉल करें: ```bash pip install inference-sdk ``` हार्डवेयर आवश्यकताओं, प्रति-डिवाइस गाइड्स, और मैनुअल `docker run` कमांड्स के लिए, देखें [Inference Server इंस्टॉल करें](/deployment/hi/self-hosted/inference-server/install.md). यही क्लाइंट इसके खिलाफ भी काम करता है [सर्वरलेस क्लाउड API](/deployment/hi/roboflow-cloud/serverless-api.md) और [समर्पित डिप्लॉयमेंट्स](/deployment/hi/roboflow-cloud/dedicated-deployments.md): केवल `api_url` बदलता है। ### इन्फरेंस चलाएँ ```python from inference_sdk import InferenceHTTPClient, InferenceConfiguration image = "https://media.roboflow.com/inference/people-walking.jpg" client = InferenceHTTPClient( api_url="http://localhost:9001", # आपका स्वयं-होस्टेड सर्वर api_key="YOUR_API_KEY", ).configure(InferenceConfiguration(api_key_transport="header")) results = client.infer(image, model_id="rfdetr-small") ``` The `api_key_transport="header"` सेटिंग कुंजी को केवल एक `Authorization: Bearer` हेडर के रूप में भेजती है, जिससे यह URLs और logs से बाहर रहती है। इसके लिए release 1.5.0 या उससे नए इन्फरेंस सर्वर की आवश्यकता होती है; उपयोग करें `api_key_transport="both"` जब तक आप पुराने सर्वरों को कॉल करते रहें। देखें [API key ट्रांसपोर्ट](https://docs.roboflow.com/reference/inference/inference-sdk/configuration#api-key-transport). स्वैप करें `api_url` के लिए `https://serverless.roboflow.com` का उपयोग करने के लिए [सर्वरलेस क्लाउड API](/deployment/hi/roboflow-cloud/serverless-api.md) इसके बजाय, बिना किसी अन्य कोड परिवर्तन के। देखें [Inference SDK संदर्भ](https://docs.roboflow.com/reference/inference/inference-sdk) विवरण के लिए। ### परिणामों को विज़ुअलाइज़ करें इंस्टॉल करें [Supervision](https://supervision.roboflow.com): ```bash pip install -U supervision ``` ```python import supervision as sv from inference_sdk import InferenceHTTPClient, InferenceConfiguration image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg") client = InferenceHTTPClient( api_url="http://localhost:9001", api_key="YOUR_API_KEY", ).configure(InferenceConfiguration(api_key_transport="header")) results = client.infer(image, model_id="rfdetr-medium") detections = sv.Detections.from_inference(results) annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections) annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections) sv.plot_image(annotated_image) ``` {% endtab %} {% tab title="Inference Library" icon="python" %} ### इंस्टॉल करें इंस्टॉल करें `inference` पैकेज को अपने Python वातावरण में: ```bash pip install inference ``` यदि आपके पास NVIDIA GPU है, तो इसके बजाय `inference-gpu` इंस्टॉल करें, और अपने OS में इंस्टॉल CUDA संस्करण से मेल खाते हुए index URL का उपयोग करें: ```bash pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu ``` देखें [Inference Library](/deployment/hi/self-hosted/inference-library.md) backend extras और GPU सेटअप विवरण के लिए। ### इन्फरेंस चलाएँ ```python from inference import get_model image = "https://media.roboflow.com/inference/people-walking.jpg" model = get_model(model_id="rfdetr-small") results = model.infer(image) ``` `get_model()` पहली बार उपयोग पर model weights डाउनलोड और कैश करता है, फिर स्थानीय रूप से इन्फरेंस चलाता है। देखें [Inference Python Package संदर्भ](https://docs.roboflow.com/reference/inference/inference-python) विवरण के लिए। ### परिणामों को विज़ुअलाइज़ करें इंस्टॉल करें [Supervision](https://supervision.roboflow.com): ```bash pip install -U supervision ``` ```python import supervision as sv from inference import get_model image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg") model = get_model(model_id="rfdetr-medium") results = model.infer(image)[0] detections = sv.Detections.from_inference(results) annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections) annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections) sv.plot_image(annotated_image) ``` {% endtab %} {% endtabs %} ![चलते हुए लोग, detections के साथ annotated](https://storage.googleapis.com/com-roboflow-marketing/inference/people-walking-annotated.jpg) {% hint style="warning" %} सावधान रहें कि अपनी API key बाहरी उपयोगकर्ताओं के सामने उजागर न करें। इसे सार्वजनिक-समक्ष frontend app में न एम्बेड करें; इसके बजाय अनुरोध को अपने backend के माध्यम से proxy करें। {% endhint %} आप एक चला सकते हैं [वर्कफ़्लो](https://docs.roboflow.com/workflows) उसी तरह, सर्वर पर या अपने स्वयं के प्रोसेस में: देखें [वर्कफ़्लो डिप्लॉय करें](https://docs.roboflow.com/workflows/deploy/deploy-a-workflow). {% hint style="info" %} निजी मॉडल्स के लिए TensorRT-अनुकूलित मॉडल पैकेज केवल पर उपलब्ध हैं [एंटरप्राइज़ प्लान्स](/deployment/hi/self-hosted/enterprise.md) जब Roboflow प्लेटफ़ॉर्म के बाहर Inference चलाया जाता है। सार्वजनिक मॉडल सभी प्लान्स पर TensorRT पैकेज शामिल करते हैं। {% endhint %}