> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install.md).

# Inference Server इंस्टॉल करें

Linux, Windows, macOS, NVIDIA Jetson, Raspberry Pi, या अपने स्वयं के cloud पर Docker या native desktop app के साथ Roboflow Inference Server इंस्टॉल करें।

अपनी प्लेटफ़ॉर्म से मेल खाने वाली इंस्टॉलेशन विधि चुनें। सभी पथ सर्वर को पोर्ट पर शुरू करते हैं **9001**.

{% tabs %}
{% tab title="Docker (अनुशंसित)" %}
Inference चलाने का पसंदीदा तरीका Docker है (देखें [Docker क्यों](/deployment/hi/self-hosted/inference-server/architecture.md#why-docker))। यह Linux, macOS, Windows, Jetson, और अन्य Docker-सक्षम डिवाइसों पर काम करता है।

[Docker इंस्टॉल करें](https://docs.docker.com/engine/install/) पहले (साथ ही [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) यदि आपके पास CUDA-सक्षम GPU है), फिर इसे इंस्टॉल करें और चलाएँ [Inference CLI](https://docs.roboflow.com/reference/inference/inference-cli):

```bash
pip install inference-cli && inference server start
```

यह स्वचालित रूप से आपकी मशीन के लिए सर्वोत्तम कंटेनर चुनता और कॉन्फ़िगर करता है।
{% endtab %}

{% tab title="Windows (नेटिव ऐप)" %}
Windows पर नेटिव डेस्कटॉप ऐप के साथ Inference Server चलाएँ, Docker की आवश्यकता नहीं।

1. [नवीनतम इंस्टॉलर डाउनलोड करें](https://github.com/roboflow/inference/releases) और इसे चलाएँ।
2. इंस्टॉलेशन पूरा होने पर, यह Inference Server लॉन्च करने का विकल्प देता है।
3. सर्वर को रोकने के लिए, जो टर्मिनल विंडो यह खोलता है उसे बंद करें।
4. इसे बाद में फिर से शुरू करने के लिए, खोजें **Roboflow Inference** अपने Start Menu में।

env.py [Windows पर इंस्टॉल करें](/deployment/hi/self-hosted/inference-server/install/windows.md) विवरण और Docker विकल्प के लिए।
{% endtab %}

{% tab title="macOS (नेटिव ऐप)" %}
Apple Silicon Mac पर नेटिव डेस्कटॉप ऐप के साथ Inference Server चलाएँ, Docker की आवश्यकता नहीं।

1. [DMG डाउनलोड करें](https://github.com/roboflow/inference/releases) और इसे खोलें।
2. Roboflow Inference ऐप को अपने Applications फ़ोल्डर में खींचें।
3. सर्वर शुरू करने के लिए Applications में ऐप पर डबल-क्लिक करें।

env.py [Mac पर इंस्टॉल करें](/deployment/hi/self-hosted/inference-server/install/mac.md) विवरण, Docker विकल्प और MPS त्वरण के लिए।
{% endtab %}
{% endtabs %}

## आवश्यकताएँ

Inference आपकी मशीन के अनुसार अनुकूलित होता है और अधिक शक्तिशाली हार्डवेयर पर तेज़ चलता है। न्यूनतम आवश्यकता 64-बिट प्रोसेसर, 4 GB RAM, और 20 GB खाली डिस्क स्थान है। [Docker](https://www.docker.com/get-started) ऊपर बताए गए कंटेनर पथों के लिए आवश्यक है।

| लक्ष्य            | हार्डवेयर                                                                                                                                                                                                                 | ऑपरेटिंग सिस्टम                             | Docker इमेज                                                                               |
| ----------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------- | ----------------------------------------------------------------------------------------- |
| **CPU**           | 64-बिट CPU, 4 GB RAM, 20 GB खाली डिस्क। भारी मॉडल (जैसे SAM2) व्यावहारिक उपयोग के लिए बहुत धीमे हो सकते हैं।                                                                                                              | Linux, macOS, या WSL 2 के साथ Windows 10/11 | `roboflow/roboflow-inference-server-cpu`                                                  |
| **GPU**           | CUDA-सक्षम NVIDIA GPU, जिसके साथ [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) इंस्टॉल किया गया हो। बड़े मॉडलों और लाइव वीडियो के लिए अनुशंसित। | Linux (या WSL 2 के साथ Windows 10/11)       | `roboflow/roboflow-inference-server-gpu`                                                  |
| **NVIDIA Jetson** | Jetson Orin डिवाइस (Orin NX 16 GB या उससे अधिक अनुशंसित), JetPack 4.5, 4.6, 5.x, या 6.x चलाते हुए। इमेज के लिए लगभग 10 GB खाली डिस्क रखें।                                                                                | JetPack / L4T                               | `roboflow/roboflow-inference-server-jetson-*` (JetPack-विशिष्ट, स्वचालित रूप से चुना गया) |

env.py [न्यूनतम आवश्यकताएँ](/deployment/hi/self-hosted/inference-server/install/minimum-requirements.md) समर्थित और सुझाए गए डिवाइसों की पूरी सूची के लिए।

## डिवाइस-विशिष्ट मार्गदर्शिकाएँ

डिवाइस के अनुसार विशेष इंस्टॉलेशन नोट्स और प्रदर्शन सुझाव:

* [Linux](/deployment/hi/self-hosted/inference-server/install/linux.md)
* [Windows](/deployment/hi/self-hosted/inference-server/install/windows.md)
* [Mac](/deployment/hi/self-hosted/inference-server/install/mac.md)
* [NVIDIA Jetson](/deployment/hi/self-hosted/inference-server/install/jetson.md)
* [Raspberry Pi](/deployment/hi/self-hosted/inference-server/install/raspberry-pi.md)
* [अन्य डिवाइस](/deployment/hi/self-hosted/inference-server/install/other.md)
* [अपनी स्वयं की क्लाउड में तैनात करें](/deployment/hi/self-hosted/inference-server/install/cloud.md) - AWS, Azure, या GCP

यदि आप Docker बिल्कुल भी नहीं चला सकते, तो [Inference Library](/deployment/hi/self-hosted/inference-library.md) सर्वर के बजाय आपके अपने Python प्रोसेस में मॉडल चलाती है।

## कंटेनर को स्वयं चलाना

आमतौर पर आप इमेज हाथ से नहीं चुनते: `inference server start` आपके हार्डवेयर का पता लगाता है और चलाता है `docker run` आपके लिए अनुशंसित सुरक्षा सेटिंग्स, कैशिंग और प्लेटफ़ॉर्म-विशिष्ट विकल्पों के साथ। यदि आप कंटेनर को स्वयं प्रबंधित करना चाहते हैं, तो केवल-CPU होस्ट पर CPU इमेज का उपयोग करें, या GPU इमेज के साथ `--gpus all` CUDA होस्ट पर।

मैन्युअल Docker उदाहरण localhost पब्लिशिंग का उपयोग करते हैं। रिमोट क्लाइंट के लिए, होस्ट-साइड पोर्ट मैपिंग बदलें और कॉन्फ़िगर करें [सर्वर एक्सेस](/deployment/hi/self-hosted/inference-server/configuration/security.md#restrict-network-access).

{% tabs %}
{% tab title="CPU" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --read-only \\
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-cpu:latest
```

{% endtab %}

{% tab title="GPU" %}
इंस्टॉल करें [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) पहले, फिर जोड़ें `--gpus all`:

```bash
sudo docker run -d \\
    --name inference-server \\
    --gpus all \
    --read-only \\
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-gpu:latest
```

{% endtab %}
{% endtabs %}

आपके प्लेटफ़ॉर्म की मार्गदर्शिका में उस डिवाइस के लिए सटीक फ़्लैग्स वाला "कंटेनर को मैन्युअल रूप से शुरू करना" अनुभाग है।

## अपडेट करना

Docker इमेजें डिफ़ॉल्ट रूप से `:latest` टैग का उपयोग करती हैं। सबसे नए सर्वर पर जाने के लिए, नवीनतम इमेज pull करें, या फिर से चलाएँ `inference server start`, जो इसे आपके लिए pull करता है:

```bash
docker pull roboflow/roboflow-inference-server-gpu:latest
```

पुनरुत्पादित होने योग्य तैनाती के लिए, **एक विशिष्ट संस्करण टैग पिन करें** के बजाय `:latest` ताकि कोई अपडेट अप्रत्याशित रूप से व्यवहार न बदले, उदाहरण के लिए `roboflow/roboflow-inference-server-gpu:<version>`. उपलब्ध टैग देखें [Docker Hub](https://hub.docker.com/u/roboflow), और पिन किए गए टैग को बढ़ाकर जानबूझकर अपडेट करें।

## अपने सर्वर को सुरक्षित करना

CLI डिफ़ॉल्ट रूप से localhost पब्लिशिंग का उपयोग करता है, Jetson इमेज और टनल लॉन्च को छोड़कर; डेस्कटॉप बंडल भी डिफ़ॉल्ट रूप से localhost का उपयोग करते हैं। स्वयं-होस्टेड API प्रमाणीकरण और HTTPS वैकल्पिक बने रहते हैं, और Custom Python स्थानीय रूप से सक्षम रहता है। रिमोट क्लाइंट्स को अनुमति देने से पहले, समीक्षा करें [Accepted Input Formats](/deployment/hi/self-hosted/inference-server/configuration/security.md).

## अपने नए सर्वर का उपयोग करना

सर्वर चलने के बाद, इसे इसके माध्यम से कॉल करें [इसके HTTP API](/deployment/hi/self-hosted/self-hosted.md#run-model-locally) या [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk). देखें [एक मॉडल चलाएँ](/deployment/hi/self-hosted/self-hosted.md#run-model-locally) पहले अनुरोध के लिए, और [Docker कॉन्फ़िगरेशन विकल्प](/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) कंटेनर को ट्यून करने के लिए।

## एंटरप्राइज़ विचार

[एक Helm chart](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) एंटरप्राइज़ क्लाउड तैनाती के लिए उपलब्ध है, और OT नेटवर्क में तैनाती का समर्थन करने वाले एंटरप्राइज़ नेटवर्किंग समाधान अनुरोध पर उपलब्ध हैं।

Roboflow अनुकूलित सहायता और इंस्टॉलेशन पैकेज भी प्रदान करता है और [एक pre-configured Jetson-based edge device](https://roboflow.com/hardware) तेज़ प्रोटोटाइपिंग के लिए उपयुक्त। [अधिक जानने के लिए sales team से संपर्क करें](https://roboflow.com/sales) यदि आप किसी बड़े संगठन का हिस्सा हैं और अधिक जानना चाहते हैं। देखें [एंटरप्राइज़ तैनाती](/deployment/hi/self-hosted/enterprise.md) पूर्ण फीचर सेट के लिए।