> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server.md).

# Inference Server

Inference Server क्या है, इसे Docker और Inference CLI से कैसे शुरू करें, और इसकी built-in JupyterLab notebook कैसे खोलें।

Inference Server एक स्टैंडअलोन माइक्रोसर्विस है जो को रैप करता है [`inference` Python पैकेज](/deployment/hi/self-hosted/inference-library.md)। यह इमेजों के लिए HTTP एंडपॉइंट्स और वीडियो स्ट्रीम्स के लिए एक WebRTC एंडपॉइंट प्रदान करता है। एक सर्वर कई क्लाइंट्स को सेवा दे सकता है और वही मॉडल तथा [वर्कफ़्लोज़](https://docs.roboflow.com/workflows) को Roboflow के होस्ट किए गए APIs की तरह चला सकता है। यह स्वयं होस्ट करने का अनुशंसित तरीका है: देखें [एक पथ चुनें](/deployment/hi/self-hosted/self-hosted.md#pick-a-path) लाइब्रेरी को सीधे चलाने की तुलना में यह कैसा है, इसके लिए।

## यह कहाँ चलता है

अपने खुद के हार्डवेयर (Raspberry Pi, NVIDIA GPU, NVIDIA Jetson, या एक साधारण सर्वर) पर सर्वर को स्वयं होस्ट करें [Docker](/deployment/hi/self-hosted/inference-server/install.md), या अपने [अपने AWS, GCP, या Azure खाते](/deployment/hi/self-hosted/inference-server/install/cloud.md)में। Roboflow आपके लिए वही सर्वर [Serverless Cloud API](/deployment/hi/roboflow/serverless-api.md) और [समर्पित परिनियोजन](/deployment/hi/roboflow/dedicated-deployments.md): देखें [डिप्लॉयमेंट विकल्प चुनना](/deployment/hi/choosing-a-deployment.md).

आप जो भी चुनें, आप उससे [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk)के माध्यम से बात करते हैं, क्योंकि वे एक ही इंटरफ़ेस साझा करते हैं: केवल `api_url` बदलता है।

## Docker के साथ चलाना

शुरू करने से पहले, सुनिश्चित करें कि [Docker इंस्टॉल है](https://www.docker.com/get-started) आपकी मशीन पर। Inference Server शुरू करने का सबसे आसान तरीका है [Inference CLI](https://docs.roboflow.com/reference/inference/inference-cli):

```bash
pip install inference-cli && inference server start
```

यह उपयुक्त Docker इमेज डाउनलोड करता है और डिफ़ॉल्ट रूप से पोर्ट 9001 को प्रकाशित करता है `127.0.0.1` । Jetson इमेजें और `--tunnel` पब्लिश को शुरू करता है `0.0.0.0`; देखें [सर्वर सुरक्षा](/deployment/hi/self-hosted/inference-server/configuration/security.md#restrict-network-access) रिमोट क्लाइंट्स को अनुमति देने से पहले।

सर्वर की स्थिति इस तरह जांचें:

```bash
inference server status
```

## Docker कंटेनर को मैन्युअल रूप से सेट अप करना

`inference server start` के अंतर्गत चलता है `docker run` सुझाई गई सुरक्षा सेटिंग्स, कैशिंग, और प्लेटफ़ॉर्म-विशिष्ट विकल्पों के साथ पर्दे के पीछे।

यदि आप कंटेनर को स्वयं शुरू करना चाहते हैं, तो अपने प्लेटफ़ॉर्म की इंस्टॉल गाइड के "कंटेनर को मैन्युअल रूप से शुरू करना" अनुभाग को देखें:

* [Linux](/deployment/hi/self-hosted/inference-server/install/linux.md#manually-starting-the-container)
* [Windows](/deployment/hi/self-hosted/inference-server/install/windows.md#manually-starting-the-container)
* [Mac](/deployment/hi/self-hosted/inference-server/install/mac.md#using-docker)
* [Jetson](/deployment/hi/self-hosted/inference-server/install/jetson.md#manually-starting-the-container)
* [Raspberry Pi](/deployment/hi/self-hosted/inference-server/install/raspberry-pi.md#manually-starting-the-container)

कंटेनर सेटिंग्स को environment variables से नियंत्रित किया जाता है: देखें [Docker कॉन्फ़िगरेशन विकल्प](/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) और पूरा [environment variable reference](/deployment/hi/self-hosted/inference-server/configuration/environment-variables.md).

## अंतर्निर्मित JupyterLab नोटबुक

Inference Servers में एक अंतर्निर्मित JupyterLab environment होता है, जो विकास और परीक्षण के दौरान प्रयोग करने का सबसे तेज़ तरीका है। यह डिफ़ॉल्ट रूप से अक्षम रहता है, इसलिए इसे सक्षम करने के लिए सर्वर को `--dev` फ़्लैग के साथ शुरू करें:

```bash
pip install inference-cli
inference server start --dev
```

फिर `http://localhost:9001` अपने ब्राउज़र में खोलें ताकि Inference लैंडिंग पेज देखें, जो संसाधनों, उदाहरणों, और अंतर्निर्मित JupyterLab environment से जुड़ता है। JupyterLab को नए टैब में खोलने के लिए "Jump Into an Inference Enabled Notebook" चुनें। यह पहले से ही उदाहरण notebooks और Inference चलाने के लिए आवश्यक सभी dependencies के साथ आता है।

{% hint style="warning" %}
यह `--dev` notebook environment स्थानीय विकास के लिए है। इसे ऐसे सर्वर पर सक्षम न करें जो किसी अविश्वसनीय नेटवर्क से पहुँचा जा सकता हो: देखें [Accepted Input Formats](/deployment/hi/self-hosted/inference-server/configuration/security.md).
{% endhint %}

## वीडियो स्ट्रीम करें

मॉडल या Workflow के माध्यम से webcams, camera feeds, और video files को stream करने के लिए Inference SDK WebRTC client का उपयोग करें:

```bash
pip install "inference-sdk[webrtc]"
```

सेट करें `api_url="http://localhost:9001"` जब आप बनाएँ `InferenceHTTPClient`. देखें [WebRTC स्ट्रीमिंग](https://docs.roboflow.com/reference/inference/inference-sdk/webrtc) मॉडल और Workflow उदाहरणों के लिए, या अनुसरण करें [वर्कफ़्लोज़ के साथ वीडियो प्रोसेसिंग](https://docs.roboflow.com/workflows/deploy/video-processing) कार्य-आधारित मार्गदर्शिका के लिए।

## इस अनुभाग में

<table data-view="cards"><thead><tr><th></th><th></th><th data-hidden data-card-target data-type="content-ref"></th></tr></thead><tbody><tr><td><strong>Inference Server इंस्टॉल करें</strong></td><td>आवश्यकताएँ, प्रति-डिवाइस इंस्टॉल गाइड, आपका अपना क्लाउड, और अपडेट करना।</td><td><a href="/deployment/hi/self-hosted/inference-server/install.md">Inference Server इंस्टॉल करें</a></td></tr><tr><td><strong>एक मॉडल चलाएँ</strong></td><td>HTTP के माध्यम से आपका पहला अनुरोध, मॉडल IDs, और विज़ुअलाइज़ेशन।</td><td><a href="/deployment/hi/self-hosted/self-hosted.md">Self-Hosted Deployment</a></td></tr><tr><td><strong>कॉन्फ़िगरेशन</strong></td><td>कंटेनर विकल्प, environment variables, सुरक्षा, HTTPS, और telemetry।</td><td><a href="/deployment/hi/self-hosted/inference-server/configuration.md">कॉन्फ़िगरेशन</a></td></tr><tr><td><strong>आर्किटेक्चर</strong></td><td>अनुरोध, वीडियो, और Workflows सर्वर से कैसे प्रवाहित होते हैं।</td><td><a href="/deployment/hi/self-hosted/inference-server/architecture.md">Inference Architecture</a></td></tr></tbody></table>