> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server.md).

# Inference Server

Inference Server क्या है, इसे Docker और Inference CLI के साथ कैसे शुरू करें, और इसका अंतर्निहित JupyterLab notebook कैसे खोलें।

Inference Server एक स्टैंडअलोन माइक्रोसर्विस है, जो [`inference` Python पैकेज](https://docs.roboflow.com/deployment/hi/self-hosted/inference-library.md)को रैप करता है। यह इमेज के लिए HTTP एंडपॉइंट और वीडियो स्ट्रीम के लिए WebRTC एंडपॉइंट उपलब्ध कराता है। एक सर्वर कई क्लाइंट को सेवा दे सकता है और वही मॉडल तथा [वर्कफ़्लो](https://docs.roboflow.com/workflows) चला सकता है जो Roboflow के होस्ट किए गए API में उपलब्ध हैं। इसे सेल्फ-होस्ट करने का सुझाया गया तरीका माना जाता है: इसकी तुलना सीधे लाइब्रेरी चलाने से कैसे होती है, यह जानने के लिए देखें [रास्ता चुनें](https://docs.roboflow.com/deployment/hi/self-hosted/self-hosted.md#pick-a-path) ।

## यह कहाँ चलता है

अपने हार्डवेयर (Raspberry Pi, NVIDIA GPU, NVIDIA Jetson या सामान्य सर्वर) पर सर्वर को [Docker](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install.md)के साथ, या [अपने AWS, GCP या Azure खाते में](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/cloud.md)सेल्फ-होस्ट करें। Roboflow आपके लिए यही सर्वर [Serverless Cloud API](https://docs.roboflow.com/deployment/hi/roboflow-cloud/serverless-api.md) और [Dedicated Deployments](https://docs.roboflow.com/deployment/hi/roboflow-cloud/dedicated-deployments.md)के रूप में भी चलाता है: देखें [डिप्लॉयमेंट विकल्प चुनना](https://docs.roboflow.com/deployment/hi/choosing-a-deployment.md).

आप चाहे जो विकल्प चुनें, इससे संपर्क करने के लिए [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk)का उपयोग करें, क्योंकि दोनों का इंटरफ़ेस एक ही है: केवल `api_url` बदलता है।

## Docker के साथ चलाना

शुरू करने से पहले, सुनिश्चित करें कि आपकी मशीन पर [Docker इंस्टॉल है](https://www.docker.com/get-started) । Inference Server शुरू करने का सबसे आसान तरीका [Inference CLI](https://docs.roboflow.com/reference/inference/inference-cli):

```bash
pip install inference-cli && inference server start
```

उपयुक्त Docker इमेज डाउनलोड करता है और डिफ़ॉल्ट रूप से पोर्ट 9001 को `127.0.0.1` पर प्रकाशित करता है। Jetson इमेज और `--tunnel` विकल्प के साथ शुरू किए गए सर्वर पोर्ट को `0.0.0.0`पर प्रकाशित करते हैं; रिमोट क्लाइंट को अनुमति देने से पहले देखें [सर्वर सुरक्षा](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/security.md#restrict-network-access) ।

सर्वर की स्थिति इस कमांड से जाँचें:

```bash
inference server status
```

## Docker कंटेनर को मैन्युअल रूप से सेट अप करना

`inference server start` पर्दे के पीछे `docker run` चलाता है और इसके साथ सुझाई गई सुरक्षा सेटिंग, कैशिंग तथा प्लेटफ़ॉर्म-विशिष्ट विकल्प लागू करता है।

अगर आप कंटेनर को स्वयं शुरू करना चाहते हैं, तो अपने प्लेटफ़ॉर्म की इंस्टॉल गाइड में "कंटेनर को मैन्युअल रूप से शुरू करना" अनुभाग देखें:

* [Linux](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/linux.md#manually-starting-the-container)
* [Windows](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/windows.md#manually-starting-the-container)
* [Mac](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/mac.md#using-docker)
* [Jetson](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/jetson.md#manually-starting-the-container)
* [Raspberry Pi](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/raspberry-pi.md#manually-starting-the-container)

कंटेनर की सेटिंग पर्यावरण वेरिएबल से नियंत्रित होती हैं: देखें [Docker कॉन्फ़िगरेशन विकल्प](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) और पूरी [पर्यावरण वेरिएबल संदर्भिका](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/environment-variables.md).

## अंतर्निहित JupyterLab नोटबुक

Inference Server में एक अंतर्निहित JupyterLab परिवेश शामिल होता है, जो डेवलपमेंट और टेस्टिंग के दौरान प्रयोग करने का सबसे तेज़ तरीका है। यह डिफ़ॉल्ट रूप से बंद होता है, इसलिए इसे चालू करने के लिए सर्वर को `--dev` फ़्लैग के साथ शुरू करें:

```bash
pip install inference-cli
inference server start --dev
```

फिर अपने ब्राउज़र में `http://localhost:9001` खोलें। आपको Inference का लैंडिंग पेज दिखेगा, जिस पर संसाधनों, उदाहरणों और अंतर्निहित JupyterLab परिवेश के लिंक हैं। JupyterLab को नए टैब में खोलने के लिए "Inference-सक्षम नोटबुक में जाएँ" चुनें। इसमें उदाहरण नोटबुक और Inference चलाने के लिए आवश्यक सभी डिपेंडेंसी पहले से मौजूद हैं।

{% hint style="warning" %}
यह `--dev` नोटबुक परिवेश लोकल डेवलपमेंट के लिए है। इसे ऐसे सर्वर पर चालू न करें जो किसी अविश्वसनीय नेटवर्क से एक्सेस किया जा सकता हो। देखें [स्वयं होस्ट किए गए सर्वर को सुरक्षित करना](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/security.md).
{% endhint %}

## वीडियो स्ट्रीम करें

अपने Inference Server पर मॉडल या वर्कफ़्लो के ज़रिए वेबकैम, कैमरा फ़ीड और वीडियो फ़ाइलें स्ट्रीम करने के लिए Inference SDK WebRTC क्लाइंट का उपयोग करें:

```bash
pip install "inference-sdk[webrtc]"
```

जब आप `api_url="http://localhost:9001"` सेट करें और `InferenceHTTPClient`बनाएँ। मॉडल और वर्कफ़्लो के उदाहरणों के लिए देखें [WebRTC स्ट्रीमिंग](https://docs.roboflow.com/reference/inference/inference-sdk/webrtc) , या किसी खास कार्य की गाइड के लिए देखें [वर्कफ़्लो के साथ वीडियो प्रोसेसिंग](https://docs.roboflow.com/workflows/deploy/video-processing) ।

## इस अनुभाग में

<table data-view="cards" data-search="false"><thead><tr><th></th><th></th><th data-hidden data-card-target data-type="content-ref"></th></tr></thead><tbody><tr><td><strong>Inference Server इंस्टॉल करें</strong></td><td>आवश्यकताएँ, हर डिवाइस के लिए इंस्टॉलेशन गाइड, अपना क्लाउड और अपडेट करना।</td><td><a href="https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install.md">Inference Server इंस्टॉल करें</a></td></tr><tr><td><strong>मॉडल चलाएँ</strong></td><td>HTTP पर आपका पहला अनुरोध, मॉडल ID और विज़ुअलाइज़ेशन।</td><td><a href="https://docs.roboflow.com/deployment/hi/self-hosted/self-hosted.md">Self-Hosted Deployment</a></td></tr><tr><td><strong>कॉन्फ़िगरेशन</strong></td><td>कंटेनर विकल्प, एनवायरनमेंट वेरिएबल, सुरक्षा, HTTPS और टेलीमेट्री।</td><td><a href="https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration.md">कॉन्फ़िगरेशन</a></td></tr><tr><td><strong>आर्किटेक्चर</strong></td><td>अनुरोध, वीडियो और वर्कफ़्लो सर्वर से कैसे गुज़रते हैं।</td><td><a href="https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/architecture.md">Inference आर्किटेक्चर</a></td></tr></tbody></table>
