> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install.md).

# Inference Server इंस्टॉल करें

अपनी प्लेटफ़ॉर्म से मेल खाने वाली स्थापना विधि चुनें। सभी पथ सर्वर को पोर्ट पर शुरू करते हैं **9001**.

{% tabs %}
{% tab title="Docker (अनुशंसित)" %}
Docker, Inference चलाने का पसंदीदा तरीका है (देखें [Docker क्यों](/deployment/hi/self-hosted/inference-server/architecture.md#why-docker)). यह Linux, macOS, Windows, Jetson, और अन्य Docker-सक्षम डिवाइसों पर काम करता है।

[पहले Docker इंस्टॉल करें](https://docs.docker.com/engine/install/)  (साथ में [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) यदि आपके पास CUDA-सक्षम GPU है), फिर इंस्टॉल करें और चलाएँ [Inference CLI](https://docs.roboflow.com/reference/inference/inference-cli):

```bash
pip install inference-cli && inference server start
```

यह स्वचालित रूप से आपकी मशीन के लिए सर्वोत्तम कंटेनर चुनता और कॉन्फ़िगर करता है।
{% endtab %}

{% tab title="Windows (नेटिव ऐप)" %}
बिना Docker की आवश्यकता के, नेटिव डेस्कटॉप ऐप के साथ Windows पर एक Inference Server चलाएँ।

1. [नवीनतम इंस्टॉलर डाउनलोड करें](https://github.com/roboflow/inference/releases) और इसे चलाएँ।
2. जब इंस्टॉल पूरा हो जाता है, तो यह Inference Server को लॉन्च करने का विकल्प देता है।
3. सर्वर को रोकने के लिए, वह टर्मिनल विंडो बंद करें जिसे यह खोलता है।
4. इसे बाद में फिर से शुरू करने के लिए, खोजें **Roboflow Inference** अपने Start Menu में।

देखें [Windows पर इंस्टॉल करें](/deployment/hi/self-hosted/inference-server/install/windows.md) विवरण और Docker विकल्प के लिए।
{% endtab %}

{% tab title="macOS (नेटिव ऐप)" %}
बिना Docker की आवश्यकता के, नेटिव डेस्कटॉप ऐप के साथ Apple Silicon Mac पर एक Inference Server चलाएँ।

1. [DMG डाउनलोड करें](https://github.com/roboflow/inference/releases) और इसे खोलें।
2. Roboflow Inference ऐप को अपने Applications फ़ोल्डर में खींचें।
3. सर्वर शुरू करने के लिए Applications में ऐप पर डबल-क्लिक करें।

देखें [Mac पर इंस्टॉल करें](/deployment/hi/self-hosted/inference-server/install/mac.md) विवरण, Docker विकल्प, और MPS एक्सेलरेशन के लिए।
{% endtab %}
{% endtabs %}

## आवश्यकताएँ

Inference आपकी मशीन के अनुसार अनुकूलित होता है और अधिक शक्तिशाली हार्डवेयर पर तेज़ चलता है। न्यूनतम आवश्यकता 64-बिट प्रोसेसर, 4 GB RAM, और 20 GB खाली डिस्क स्थान है। [Docker](https://www.docker.com/get-started) ऊपर बताए गए कंटेनर पथों के लिए आवश्यक है।

| लक्ष्य            | हार्डवेयर                                                                                                                                                                                                        | OS                                        | Docker इमेज                                                                     |
| ----------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------- | ------------------------------------------------------------------------------- |
| **CPU**           | 64-बिट CPU, 4 GB RAM, 20 GB खाली डिस्क. भारी मॉडल (जैसे SAM2) व्यावहारिक रूप से बहुत धीमे हो सकते हैं।                                                                                                           | Linux, macOS, या Windows 10/11 with WSL 2 | `roboflow/roboflow-inference-server-cpu`                                        |
| **GPU**           | एक CUDA-सक्षम NVIDIA GPU जिसके साथ [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) इंस्टॉल हो। बड़े मॉडल और लाइव वीडियो के लिए अनुशंसित। | Linux (या Windows 10/11 with WSL 2)       | `roboflow/roboflow-inference-server-gpu`                                        |
| **NVIDIA Jetson** | Jetson Orin डिवाइस (Orin NX 16 GB या उससे अधिक अनुशंसित), JetPack 4.5, 4.6, 5.x, या 6.x पर चल रहा हो। इमेज के लिए \~10 GB खाली डिस्क स्थान रखें।                                                                 | JetPack / L4T                             | `roboflow/roboflow-inference-server-jetson-*` (JetPack-विशिष्ट, स्वतः चुना गया) |

देखें [न्यूनतम आवश्यकताएँ](/deployment/hi/self-hosted/inference-server/install/minimum-requirements.md) समर्थित और सुझाए गए डिवाइसों की पूरी सूची के लिए।

## डिवाइस-विशिष्ट गाइड

प्रत्येक डिवाइस के लिए विशेष इंस्टॉलेशन नोट्स और प्रदर्शन सुझाव:

* [Linux](/deployment/hi/self-hosted/inference-server/install/linux.md)
* [Windows](/deployment/hi/self-hosted/inference-server/install/windows.md)
* [Mac](/deployment/hi/self-hosted/inference-server/install/mac.md)
* [NVIDIA Jetson](/deployment/hi/self-hosted/inference-server/install/jetson.md)
* [Raspberry Pi](/deployment/hi/self-hosted/inference-server/install/raspberry-pi.md)
* [अन्य डिवाइस](/deployment/hi/self-hosted/inference-server/install/other.md)
* [अपने स्वयं के क्लाउड में तैनात करें](/deployment/hi/self-hosted/inference-server/install/cloud.md) - AWS, Azure, या GCP

यदि आप Docker बिल्कुल नहीं चला सकते, तो [Inference Library](/deployment/hi/self-hosted/inference-library.md) सर्वर के बजाय आपके अपने Python प्रक्रिया में मॉडल चलाता है।

## कंटेनर को स्वयं चलाना

आमतौर पर आप इमेज को हाथ से नहीं चुनते: `inference server start` आपके हार्डवेयर का पता लगाता है और चलाता है `docker run` आपके लिए अनुशंसित सुरक्षा सेटिंग्स, कैशिंग, और प्लेटफ़ॉर्म-विशिष्ट विकल्पों के साथ। यदि आप कंटेनर को स्वयं प्रबंधित करना पसंद करते हैं, तो CPU-only होस्ट पर CPU इमेज का उपयोग करें, या CUDA होस्ट पर GPU इमेज का उपयोग करें `--gpus all` पर

{% tabs %}
{% tab title="CPU" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-cpu:latest
```

{% endtab %}

{% tab title="GPU" %}
इंस्टॉल करें [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) पहले, फिर जोड़ें `--gpus all`:

```bash
sudo docker run -d \\
    --name inference-server \\
    --gpus all \
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-gpu:latest
```

{% endtab %}
{% endtabs %}

आपके प्लेटफ़ॉर्म की गाइड में उस डिवाइस के लिए सटीक फ़्लैग्स के साथ "कंटेनर को मैन्युअली शुरू करना" नामक एक अनुभाग है।

## अपडेट करना

Docker इमेजों का डिफ़ॉल्ट `:latest` टैग होता है। सर्वर के नवीनतम संस्करण पर जाने के लिए, नवीनतम इमेज pull करें, या `inference server start`को फिर से चलाएँ, जो इसे आपके लिए pull कर देगा:

```bash
docker pull roboflow/roboflow-inference-server-gpu:latest
```

दोहराने योग्य तैनाती के लिए, **एक विशिष्ट संस्करण टैग pin करें** के बजाय `:latest` ताकि कोई अपडेट व्यवहार को अप्रत्याशित रूप से कभी न बदले, उदाहरण के लिए `roboflow/roboflow-inference-server-gpu:<version>`. उपलब्ध टैग्स देखें [Docker Hub](https://hub.docker.com/u/roboflow), और pinned टैग को बढ़ाकर जानबूझकर अपडेट करें।

## अपने सर्वर को सुरक्षित करना

एक self-hosted सर्वर डिफ़ॉल्ट रूप से authentication, encryption, या network restrictions लागू नहीं करता, इसलिए उसे सुरक्षित करना आपकी ज़िम्मेदारी है। स्थानीय डेवलपमेंट ट्रैफ़िक से आगे इसे एक्सपोज़ करने से पहले, समीक्षा करें [स्व-होस्टेड सर्वर को सुरक्षित करना](/deployment/hi/self-hosted/inference-server/configuration/security.md).

## अपने नए सर्वर का उपयोग करना

एक बार सर्वर चलने लगे, तो इसे [इसके HTTP API](/deployment/hi/self-hosted/self-hosted.md#run-a-model) या [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk). देखें [मॉडल चलाएँ](/deployment/hi/self-hosted/self-hosted.md#run-a-model) के माध्यम से पहले अनुरोध के लिए, और [Docker कॉन्फ़िगरेशन विकल्प](/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) कंटेनर को ट्यून करने के लिए।

## एंटरप्राइज़ संबंधी विचार

[एक Helm chart](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) एंटरप्राइज़ क्लाउड तैनाती के लिए उपलब्ध है, और OT नेटवर्कों में तैनाती का समर्थन करने वाले एंटरप्राइज़ नेटवर्किंग समाधान अनुरोध पर उपलब्ध हैं।

Roboflow भी अनुकूलित समर्थन और इंस्टॉलेशन पैकेज प्रदान करता है और [एक पहले से कॉन्फ़िगर किया गया Jetson-आधारित एज डिवाइस](https://roboflow.com/hardware) जो तेज़ प्रोटोटाइपिंग के लिए उपयुक्त है। [बिक्री टीम से संपर्क करें](https://roboflow.com/sales) यदि आप किसी बड़े संगठन का हिस्सा हैं और अधिक जानना चाहते हैं। देखें [एंटरप्राइज़ तैनाती](/deployment/hi/self-hosted/enterprise.md) पूरे फीचर सेट के लिए।