> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install.md).

# Inference Server इंस्टॉल करें

Linux, Windows, macOS, NVIDIA Jetson, Raspberry Pi, या अपने स्वयं के cloud पर Docker या native desktop app के साथ Roboflow Inference Server इंस्टॉल करें।

अपने प्लेटफ़ॉर्म के अनुसार इंस्टॉलेशन का तरीका चुनें। सभी तरीकों से सर्वर इस पोर्ट पर शुरू होता है **9001**.

{% tabs %}
{% tab title="Docker (अनुशंसित)" %}
Inference चलाने का पसंदीदा तरीका Docker है (देखें [Docker क्यों](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/architecture.md#why-docker))। यह Linux, macOS, Windows, Jetson और Docker-सक्षम अन्य डिवाइसों पर काम करता है।

[पहले Docker इंस्टॉल करें](https://docs.docker.com/engine/install/) (और [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) भी, यदि आपके पास CUDA-सक्षम GPU है), फिर [Inference CLI](https://docs.roboflow.com/reference/inference/inference-cli):

```bash
pip install inference-cli && inference server start
```

इंस्टॉल करके चलाएँ। यह आपके डिवाइस के लिए सबसे उपयुक्त कंटेनर को अपने-आप चुनकर कॉन्फ़िगर करता है।
{% endtab %}

{% tab title="Windows (नेटिव ऐप)" %}
नेटिव डेस्कटॉप ऐप से Windows पर Inference Server चलाएँ—Docker की ज़रूरत नहीं है।

1. [नवीनतम इंस्टॉलर डाउनलोड करें](https://github.com/roboflow/inference/releases) और उसे चलाएँ।
2. इंस्टॉलेशन पूरा होने पर, आपको Inference Server लॉन्च करने का विकल्प मिलेगा।
3. सर्वर रोकने के लिए, खुलने वाली टर्मिनल विंडो बंद करें।
4. बाद में इसे फिर से शुरू करने के लिए, अपने Start Menu में **Roboflow Inference** ढूँढें।

ज़्यादा जानकारी और Docker के विकल्प के लिए देखें [Windows पर इंस्टॉल करें](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/windows.md) ।
{% endtab %}

{% tab title="macOS (नेटिव ऐप)" %}
नेटिव डेस्कटॉप ऐप से Apple Silicon Mac पर Inference Server चलाएँ—Docker की ज़रूरत नहीं है।

1. [DMG डाउनलोड करें](https://github.com/roboflow/inference/releases) और उसे खोलें।
2. Roboflow Inference ऐप को अपने Applications फ़ोल्डर में खींचकर छोड़ें।
3. सर्वर शुरू करने के लिए Applications में ऐप पर डबल-क्लिक करें।

ज़्यादा जानकारी, Docker के विकल्प और MPS एक्सेलरेशन के लिए देखें [Mac पर इंस्टॉल करें](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/mac.md) ।
{% endtab %}
{% endtabs %}

## आवश्यकताएँ

Inference आपके डिवाइस के अनुसार अनुकूलित होता है और अधिक शक्तिशाली हार्डवेयर पर तेज़ चलता है। न्यूनतम आवश्यकता 64-बिट प्रोसेसर, 4 GB RAM और 20 GB खाली डिस्क स्थान है। [ऊपर दिए गए कंटेनर-आधारित तरीकों के लिए](https://www.docker.com/get-started) Docker आवश्यक है।

| लक्ष्य            | हार्डवेयर                                                                                                                                                                                                     | OS                                       | Docker इमेज                                                                             |
| ----------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------- | --------------------------------------------------------------------------------------- |
| **CPU**           | 64-बिट CPU, 4 GB RAM, 20 GB खाली डिस्क स्थान। बड़े मॉडल (जैसे SAM2) व्यावहारिक रूप से इस्तेमाल करने के लिए बहुत धीमे हो सकते हैं।                                                                             | Linux, macOS या WSL 2 वाला Windows 10/11 | `roboflow/roboflow-inference-server-cpu`                                                |
| **GPU**           | CUDA-सक्षम NVIDIA GPU और इंस्टॉल किया हुआ [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) । बड़े मॉडल और लाइव वीडियो के लिए अनुशंसित। | Linux (या WSL 2 वाला Windows 10/11)      | `roboflow/roboflow-inference-server-gpu`                                                |
| **NVIDIA Jetson** | JetPack 4.5, 4.6, 5.x या 6.x पर चलने वाला Jetson Orin डिवाइस (Orin NX 16 GB या उससे अधिक अनुशंसित)। इमेज के लिए लगभग 10 GB खाली डिस्क स्थान रखें।                                                             | JetPack / L4T                            | `roboflow/roboflow-inference-server-jetson-*` (JetPack के अनुसार, अपने-आप चुना जाता है) |

समर्थित और सुझाए गए डिवाइसों की पूरी सूची के लिए देखें [न्यूनतम आवश्यकताएँ](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/minimum-requirements.md) ।

## डिवाइस-विशिष्ट गाइड

डिवाइस के अनुसार विशेष इंस्टॉलेशन नोट्स और प्रदर्शन संबंधी सुझाव:

* [Linux](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/linux.md)
* [Windows](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/windows.md)
* [Mac](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/mac.md)
* [NVIDIA Jetson](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/jetson.md)
* [Raspberry Pi](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/raspberry-pi.md)
* [अन्य डिवाइस](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/other.md)
* [अपने क्लाउड में डिप्लॉय करें](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/cloud.md) - AWS, Azure या GCP

अगर आप Docker बिल्कुल नहीं चला सकते, तो [Inference Library](https://docs.roboflow.com/deployment/hi/self-hosted/inference-library.md) सर्वर के बजाय आपके अपने Python प्रोसेस में मॉडल चलाती है।

## कंटेनर को स्वयं चलाना

आमतौर पर आपको इमेज स्वयं चुनने की ज़रूरत नहीं होती: `inference server start` आपके हार्डवेयर का पता लगाता है और आपके लिए `docker run` को सुझाई गई सुरक्षा सेटिंग, कैशिंग और प्लेटफ़ॉर्म-विशिष्ट विकल्पों के साथ चलाता है। अगर आप कंटेनर को स्वयं प्रबंधित करना चाहते हैं, तो केवल CPU वाले होस्ट पर CPU इमेज का उपयोग करें, या CUDA होस्ट पर GPU इमेज के साथ `--gpus all` का उपयोग करें।

मैन्युअल Docker उदाहरणों में localhost पर पोर्ट प्रकाशित किए जाते हैं। रिमोट क्लाइंट के लिए, होस्ट-साइड पोर्ट मैपिंग बदलें और कॉन्फ़िगर करें [सर्वर एक्सेस](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/security.md#restrict-network-access).

{% tabs %}
{% tab title="CPU" %}

```bash
sudo docker run -d \
    --name inference-server \
    --read-only \
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-cpu:latest
```

{% endtab %}

{% tab title="GPU" %}
पहले [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) इंस्टॉल करें, फिर जोड़ें `--gpus all`:

```bash
sudo docker run -d \
    --name inference-server \
    --gpus all \
    --read-only \
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-gpu:latest
```

{% endtab %}
{% endtabs %}

आपके प्लेटफ़ॉर्म की गाइड में "कंटेनर को मैन्युअल रूप से शुरू करना" वाला सेक्शन है, जिसमें उस डिवाइस के लिए सटीक फ़्लैग दिए गए हैं।

## अपडेट करना

Docker इमेज में डिफ़ॉल्ट रूप से `:latest` टैग का उपयोग होता है। नवीनतम सर्वर पर जाने के लिए, नवीनतम इमेज पुल करें या `inference server start`को फिर से चलाएँ, जो आपके लिए इमेज पुल करेगा:

```bash
docker pull roboflow/roboflow-inference-server-gpu:latest
```

पुनरुत्पाद्य डिप्लॉयमेंट के लिए, **किसी विशिष्ट संस्करण टैग को पिन करें** इसके बजाय `:latest` का उपयोग करें, ताकि अपडेट से व्यवहार कभी अनपेक्षित रूप से न बदले। उदाहरण के लिए: `roboflow/roboflow-inference-server-gpu:<version>`। उपलब्ध टैग यहाँ देखें: [Docker Hub](https://hub.docker.com/u/roboflow)और पिन किए गए टैग का संस्करण बदलकर सोच-समझकर अपडेट करें।

## अपने सर्वर को सुरक्षित करना

CLI में डिफ़ॉल्ट रूप से localhost पर पोर्ट प्रकाशित होते हैं, सिवाय Jetson इमेज और टनल लॉन्च के; डेस्कटॉप बंडल में भी localhost डिफ़ॉल्ट है। सेल्फ-होस्टेड API प्रमाणीकरण और HTTPS वैकल्पिक हैं, और Custom Python स्थानीय रूप से सक्षम रहता है। रिमोट क्लाइंट को अनुमति देने से पहले, देखें [सेल्फ-होस्टेड सर्वर को सुरक्षित करना](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/security.md).

## अपने नए सर्वर का उपयोग करना

सर्वर चलने के बाद, इसे कॉल करें [इसके HTTP API](https://docs.roboflow.com/deployment/hi/self-hosted/self-hosted.md#run-model-locally) के ज़रिए या [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk)का उपयोग करके। देखें [मॉडल चलाना](https://docs.roboflow.com/deployment/hi/self-hosted/self-hosted.md#run-model-locally) पहले अनुरोध के लिए, और [कंटेनर को ट्यून करने के लिए](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) Docker कॉन्फ़िगरेशन विकल्प

## एंटरप्राइज़ संबंधी विचार

[एंटरप्राइज़ क्लाउड डिप्लॉयमेंट के लिए एक Helm चार्ट](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) उपलब्ध है, और OT नेटवर्क में डिप्लॉयमेंट का समर्थन करने वाले एंटरप्राइज़ नेटवर्किंग समाधान अनुरोध पर उपलब्ध हैं।

Roboflow अनुकूलित सहायता और इंस्टॉलेशन पैकेज भी प्रदान करता है, साथ ही [Jetson पर आधारित, पहले से कॉन्फ़िगर किया गया एज डिवाइस](https://roboflow.com/hardware) जो तेज़ी से प्रोटोटाइप बनाने के लिए उपयुक्त है। [बिक्री टीम से संपर्क करें](https://roboflow.com/sales) अगर आप किसी बड़े संगठन का हिस्सा हैं और अधिक जानना चाहते हैं। देखें [एंटरप्राइज़ डिप्लॉयमेंट](https://docs.roboflow.com/deployment/hi/self-hosted/enterprise.md) सुविधाओं के पूरे सेट के लिए।
