> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server.md).

# इन्फ़रेंस सर्वर

Inference Server एक स्वतंत्र माइक्रोसर्विस है जो रैप करती है [`inference` Python पैकेज](/deployment/hi/self-hosted/inference-library.md). यह इमेज के लिए HTTP एंडपॉइंट और वीडियो स्ट्रीम के लिए एक WebRTC एंडपॉइंट उपलब्ध कराता है। एक सर्वर कई क्लाइंट्स को सेवा दे सकता है और वही मॉडल तथा [वर्कफ़्लोज़](https://docs.roboflow.com/workflows) Roboflow के होस्ट किए गए APIs की तरह। यह self-host करने का अनुशंसित तरीका है: देखें [एक मार्ग चुनें](/deployment/hi/self-hosted/self-hosted.md#pick-a-path) कि यह लाइब्रेरी को सीधे चलाने की तुलना में कैसा है।

## यह कहाँ चलता है

अपने स्वयं के हार्डवेयर (Raspberry Pi, NVIDIA GPU, NVIDIA Jetson, या एक साधारण सर्वर) पर सर्वर को self-host करें, साथ में [Docker](/deployment/hi/self-hosted/inference-server/install.md), या में [अपना AWS, GCP, या Azure खाता](/deployment/hi/self-hosted/inference-server/install/cloud.md). Roboflow आपके लिए वही सर्वर भी चलाता है, रूप में [Serverless Cloud API](/deployment/hi/roboflow-cloud/serverless-api.md) और [समर्पित डिप्लॉयमेंट](/deployment/hi/roboflow-cloud/dedicated-deployments.md): देखें [डिप्लॉयमेंट विकल्प चुनना](/deployment/hi/choosing-a-deployment.md).

आप जो भी चुनें, आप उससे के माध्यम से संवाद करते हैं [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk), क्योंकि वे एक ही इंटरफ़ेस साझा करते हैं: केवल `api_url` ही बदलता है।

## Docker के साथ चलाना

शुरू करने से पहले, सुनिश्चित करें [Docker इंस्टॉल है](https://www.docker.com/get-started) आपकी मशीन पर। Inference Server शुरू करने का सबसे आसान तरीका है [Inference CLI](https://docs.roboflow.com/reference/inference/inference-cli):

```bash
pip install inference-cli && inference server start
```

यह आपकी मशीन के लिए उपयुक्त Docker इमेज को, निर्भरताएँ पहले से इंस्टॉल करके, डाउनलोड करता है और पोर्ट 9001 पर Inference Server शुरू करता है। सर्वर की स्थिति जाँचें:

```bash
inference server status
```

## Docker कंटेनर को मैन्युअल रूप से सेट अप करना

`inference server start` चलाता है `docker run` पर्दे के पीछे अनुशंसित सुरक्षा सेटिंग्स, कैशिंग, और प्लेटफ़ॉर्म-विशिष्ट विकल्पों के साथ।

यदि आप कंटेनर स्वयं शुरू करना चाहते हैं, तो अपने प्लेटफ़ॉर्म के इंस्टॉल गाइड के "Manually starting the container" अनुभाग को देखें:

* [Linux](/deployment/hi/self-hosted/inference-server/install/linux.md#manually-starting-the-container)
* [Windows](/deployment/hi/self-hosted/inference-server/install/windows.md#manually-starting-the-container)
* [Mac](/deployment/hi/self-hosted/inference-server/install/mac.md#using-docker)
* [Jetson](/deployment/hi/self-hosted/inference-server/install/jetson.md#manually-starting-the-container)
* [Raspberry Pi](/deployment/hi/self-hosted/inference-server/install/raspberry-pi.md#manually-starting-the-container)

कंटेनर सेटिंग्स environment variables द्वारा नियंत्रित होती हैं: देखें [Docker कॉन्फ़िगरेशन विकल्प](/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) और पूरा [environment variable संदर्भ](/deployment/hi/self-hosted/inference-server/configuration/environment-variables.md).

## अंतर्निहित JupyterLab नोटबुक

Inference Servers एक अंतर्निहित JupyterLab वातावरण के साथ आते हैं, जो विकास और परीक्षण के दौरान प्रयोग करने का सबसे तेज़ तरीका है। यह डिफ़ॉल्ट रूप से अक्षम है, इसलिए सर्वर को के साथ शुरू करें `--dev` फ़्लैग इसे सक्षम करने के लिए:

```bash
pip install inference-cli
inference server start --dev
```

फिर खोलें `http://localhost:9001` अपने ब्राउज़र में Inference landing page देखने के लिए, जो संसाधनों, उदाहरणों, और अंतर्निहित JupyterLab वातावरण से लिंक करता है। JupyterLab को नए टैब में खोलने के लिए "Jump Into an Inference Enabled Notebook" चुनें। इसमें उदाहरण नोटबुक और Inference चलाने के लिए आवश्यक सभी निर्भरताएँ पहले से लोड होती हैं।

{% hint style="warning" %}
यह `--dev` नोटबुक वातावरण स्थानीय विकास के लिए है। इसे ऐसे सर्वर पर सक्षम न करें जो किसी अविश्वसनीय नेटवर्क से पहुँच योग्य हो: देखें [एक Self-Hosted सर्वर को सुरक्षित करना](/deployment/hi/self-hosted/inference-server/configuration/security.md).
{% endhint %}

## वीडियो स्ट्रीम करें

वेबकैम, कैमरा फ़ीड, और वीडियो फ़ाइलों को किसी मॉडल या Workflow के माध्यम से स्ट्रीम करने के लिए Inference SDK WebRTC क्लाइंट का उपयोग करें:

```bash
pip install "inference-sdk[webrtc]"
```

सेट करें `api_url="http://localhost:9001"` जब आप बनाते हैं `InferenceHTTPClient`. देखें [WebRTC स्ट्रीमिंग](https://docs.roboflow.com/reference/inference/inference-sdk/webrtc) मॉडल और Workflow उदाहरणों के लिए, या अनुसरण करें [Workflows के साथ वीडियो प्रोसेसिंग](https://docs.roboflow.com/workflows/deploy/video-processing) एक कार्य-आधारित गाइड के लिए।

## इस अनुभाग में

<table data-view="cards"><thead><tr><th></th><th></th><th data-hidden data-card-target data-type="content-ref"></th></tr></thead><tbody><tr><td><strong>Inference Server इंस्टॉल करें</strong></td><td>आवश्यकताएँ, प्रति-डिवाइस इंस्टॉल गाइड, आपका अपना क्लाउड, और अपडेट करना।</td><td><a href="/pages/bb53544f513629ef05c02e7a954518fc722e13a5">/pages/bb53544f513629ef05c02e7a954518fc722e13a5</a></td></tr><tr><td><strong>एक मॉडल चलाएँ</strong></td><td>HTTP पर आपका पहला अनुरोध, मॉडल IDs, और विज़ुअलाइज़ेशन।</td><td><a href="/pages/5daeeeaa0760b11f43ee781e5be8ad2f010e76a3">/pages/5daeeeaa0760b11f43ee781e5be8ad2f010e76a3</a></td></tr><tr><td><strong>कॉन्फ़िगरेशन</strong></td><td>कंटेनर विकल्प, environment variables, सुरक्षा, HTTPS, और टेलीमेट्री।</td><td><a href="/pages/90b4d5146fa82b04ac462802b2294a5d77dddd06">/pages/90b4d5146fa82b04ac462802b2294a5d77dddd06</a></td></tr><tr><td><strong>आर्किटेक्चर</strong></td><td>अनुरोध, वीडियो, और Workflows सर्वर के माध्यम से कैसे प्रवाहित होते हैं।</td><td><a href="/pages/8668a80c69566fed97d57840f974e360b051ae91">/pages/8668a80c69566fed97d57840f974e360b051ae91</a></td></tr></tbody></table>