> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server.md).

# Inference Server

Inference Server एक स्वतंत्र माइक्रोसर्विस है जो [`इनफेरेंस` Python पैकेज](/deployment/hi/self-hosted/inference-library.md). यह छवियों के लिए HTTP एंडपॉइंट और वीडियो स्ट्रीम के लिए एक WebRTC एंडपॉइंट उपलब्ध कराता है। एक सर्वर कई क्लाइंट्स को सेवा दे सकता है और वही मॉडल और [वर्कफ़्लोज़](https://docs.roboflow.com/workflows) Roboflow के होस्टेड APIs की तरह। self-host करने का यह अनुशंसित तरीका है: देखें [एक मार्ग चुनें](/deployment/hi/self-hosted/self-hosted.md#pick-a-path) कि यह लाइब्रेरी को सीधे चलाने की तुलना में कैसा है।

## यह कहाँ चलता है

अपने स्वयं के हार्डवेयर (Raspberry Pi, NVIDIA GPU, NVIDIA Jetson, या साधारण सर्वर) पर सर्वर को self-host करें, के साथ [Docker](/deployment/hi/self-hosted/inference-server/install.md), या में [अपने AWS, GCP, या Azure खाते में](/deployment/hi/self-hosted/inference-server/install/cloud.md). Roboflow आपके लिए भी वही सर्वर के रूप में चलाता है [Serverless Hosted API](/deployment/hi/roboflow-cloud/serverless-api.md) और [समर्पित परिनियोजन](/deployment/hi/roboflow-cloud/dedicated-deployments.md): देखें [डिप्लॉयमेंट विकल्प चुनना](/deployment/hi/choosing-a-deployment.md).

आप जो भी चुनें, आप उससे के माध्यम से बात करते हैं [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk), क्योंकि वे एक ही इंटरफ़ेस साझा करते हैं: सिर्फ `api_url` बदलता है।

## Docker के साथ चलाना

शुरू करने से पहले, सुनिश्चित करें [कि Docker इंस्टॉल है](https://www.docker.com/get-started) आपकी मशीन पर। Inference Server शुरू करने का सबसे आसान तरीका है [Inference CLI](https://docs.roboflow.com/reference/inference/inference-cli):

```bash
pip install inference-cli && inference server start
```

यह आपकी मशीन के लिए उपयुक्त Docker इमेज डाउनलोड करता है, जिसमें निर्भरताएँ पहले से इंस्टॉल होती हैं, और पोर्ट 9001 पर Inference Server शुरू करता है। सर्वर की स्थिति यहाँ जाँचें:

```bash
inference server status
```

## Docker कंटेनर को मैन्युअल रूप से सेट अप करना

`inference server start` चलता है `docker run` पृष्ठभूमि में, अनुशंसित सुरक्षा सेटिंग्स, कैशिंग और प्लेटफ़ॉर्म-विशिष्ट विकल्पों के साथ।

यदि आप कंटेनर स्वयं शुरू करना चाहते हैं, तो अपने प्लेटफ़ॉर्म के इंस्टॉल गाइड के "Manually starting the container" अनुभाग को देखें:

* [Linux](/deployment/hi/self-hosted/inference-server/install/linux.md#manually-starting-the-container)
* [Windows](/deployment/hi/self-hosted/inference-server/install/windows.md#manually-starting-the-container)
* [Mac](/deployment/hi/self-hosted/inference-server/install/mac.md#using-docker)
* [Jetson](/deployment/hi/self-hosted/inference-server/install/jetson.md#manually-starting-the-container)
* [Raspberry Pi](/deployment/hi/self-hosted/inference-server/install/raspberry-pi.md#manually-starting-the-container)

कंटेनर सेटिंग्स environment variables से नियंत्रित होती हैं: देखें [Docker कॉन्फ़िगरेशन विकल्प](/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) और पूर्ण [environment variable reference](/deployment/hi/self-hosted/inference-server/configuration/environment-variables.md).

## अंतर्निहित JupyterLab नोटबुक

Inference Servers के साथ एक अंतर्निहित JupyterLab वातावरण आता है, जो विकास और परीक्षण के दौरान प्रयोग करने का सबसे तेज़ तरीका है। यह डिफ़ॉल्ट रूप से अक्षम है, इसलिए सर्वर को इसके साथ शुरू करें `--dev` इसे सक्षम करने के लिए फ़्लैग:

```bash
pip install inference-cli
inference server start --dev
```

फिर खोलें `http://localhost:9001` इसे अपने ब्राउज़र में देखें ताकि Inference लैंडिंग पेज दिखाई दे, जिसमें संसाधनों, उदाहरणों और अंतर्निहित JupyterLab वातावरण के लिंक हैं। नए टैब में JupyterLab खोलने के लिए "Jump Into an Inference Enabled Notebook" चुनें। इसमें उदाहरण नोटबुक और Inference चलाने के लिए आवश्यक सभी निर्भरताएँ पहले से लोड होती हैं।

{% hint style="warning" %}
यह `--dev` नोटबुक वातावरण स्थानीय विकास के लिए है। इसे ऐसे सर्वर पर सक्षम न करें जो अविश्वसनीय नेटवर्क से पहुँच योग्य हो: देखें [स्व-होस्टेड सर्वर को सुरक्षित करना](/deployment/hi/self-hosted/inference-server/configuration/security.md).
{% endhint %}

## वीडियो स्ट्रीम करें

वेबकैम, कैमरा फीड और वीडियो फ़ाइलों को किसी मॉडल या Workflow के माध्यम से स्ट्रीम करने के लिए Inference SDK WebRTC क्लाइंट का उपयोग करें:

```bash
pip install "inference-sdk[webrtc]"
```

सेट करें `api_url="http://localhost:9001"` जब आप बनाते हैं `InferenceHTTPClient`. देखें [WebRTC स्ट्रीमिंग](https://docs.roboflow.com/reference/inference/inference-sdk/webrtc) मॉडल और Workflow उदाहरणों के लिए, या अनुसरण करें [Workflows के साथ वीडियो प्रोसेसिंग](https://docs.roboflow.com/workflows/deploy/video-processing) एक कार्य-आधारित मार्गदर्शिका के लिए।

## इस अनुभाग में

<table data-view="cards"><thead><tr><th></th><th></th><th data-hidden data-card-target data-type="content-ref"></th></tr></thead><tbody><tr><td><strong>Inference Server इंस्टॉल करें</strong></td><td>आवश्यकताएँ, प्रति-डिवाइस इंस्टॉल गाइड, आपका अपना क्लाउड, और अपडेट करना।</td><td><a href="/pages/bb53544f513629ef05c02e7a954518fc722e13a5">/pages/bb53544f513629ef05c02e7a954518fc722e13a5</a></td></tr><tr><td><strong>एक मॉडल चलाएँ</strong></td><td>HTTP पर आपका पहला अनुरोध, मॉडल IDs, और विज़ुअलाइज़ेशन।</td><td><a href="/pages/5daeeeaa0760b11f43ee781e5be8ad2f010e76a3">/pages/5daeeeaa0760b11f43ee781e5be8ad2f010e76a3</a></td></tr><tr><td><strong>कॉन्फ़िगरेशन</strong></td><td>कंटेनर विकल्प, environment variables, सुरक्षा, HTTPS, और टेलीमेट्री।</td><td><a href="/pages/90b4d5146fa82b04ac462802b2294a5d77dddd06">/pages/90b4d5146fa82b04ac462802b2294a5d77dddd06</a></td></tr><tr><td><strong>आर्किटेक्चर</strong></td><td>अनुरोध, वीडियो, और Workflows सर्वर के माध्यम से कैसे प्रवाहित होते हैं।</td><td><a href="/pages/8668a80c69566fed97d57840f974e360b051ae91">/pages/8668a80c69566fed97d57840f974e360b051ae91</a></td></tr></tbody></table>