> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/linux.md).

# Linux पर इंस्टॉल करें

Inference CLI, Docker, या Docker Compose के साथ CPU, GPU, या TensorRT पर Linux में Roboflow Inference Server इंस्टॉल और चलाएँ।

इस पेज के Docker उदाहरण localhost पर पोर्ट 9001 प्रकाशित करते हैं। किसी दूसरी मशीन पर मौजूद क्लाइंट के लिए, मैपिंग को जानबूझकर ऐसे पहुँच योग्य होस्ट पते पर बदलें और कॉन्फ़िगर करें [सर्वर एक्सेस](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/security.md#restrict-network-access).

अपनी मशीन के लिए सही कंटेनर को अच्छी डिफ़ॉल्ट सेटिंग्स (कैश वॉल्यूम और सुरक्षित, गैर-विशेषाधिकार प्राप्त निष्पादन मोड) के साथ शुरू करने का सबसे आसान तरीका है कि CLI को चुनने दें और इसे इस कमांड से शुरू करें `inference server start`. [Docker इंस्टॉल करें](https://docs.docker.com/engine/install/) पहले:

```bash
pip install inference-cli
inference server start
```

## कंटेनर को मैन्युअल रूप से शुरू करना

अगर आप कंटेनर की सेटिंग पर अधिक नियंत्रण चाहते हैं, तो इसे स्वयं शुरू करें।

{% tabs %}
{% tab title="CPU" %}
मुख्य CPU Docker इमेज में onnxruntime के ज़रिए x64 CPUs पर OpenVINO एक्सेलेरेशन का समर्थन शामिल है। SAM2 जैसे भारी मॉडल इतनी धीमी गति से चल सकते हैं (हर इमेज में दर्जनों सेकंड) कि उनका व्यावहारिक उपयोग कठिन हो जाए; अगर आपको ऐसे मॉडल चाहिए, तो CUDA-सक्षम GPU का उपयोग करें।

CPU अनुमान के मुख्य उपयोगों में स्थिर इमेज को प्रोसेस करना (उदाहरण के लिए, अपलोड की गई फ़ाइलों का NSFW वर्गीकरण या दस्तावेज़ का सत्यापन) अथवा वीडियो से कभी-कभार फ़्रेम लेना (उदाहरण के लिए, पार्किंग स्थल में वाहनों की संख्या पर नज़र रखना) शामिल हैं।

CPU अनुमान शुरू करने के लिए, इसका उपयोग करें `roboflow/roboflow-inference-server-cpu:latest` कंटेनर।

```bash
sudo docker run -d \
    --name inference-server \
    --read-only \
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-cpu:latest
```

{% endtab %}

{% tab title="GPU" %}
GPU कंटेनर, NVIDIA-Docker के ज़रिए CUDA को सपोर्ट करने वाले कार्डों पर हार्डवेयर एक्सेलरेशन जोड़ता है। [NVIDIA Container Toolkit की इंस्टॉलेशन गाइड](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html)का पालन करें, फिर `--gpus all` को `docker run` कमांड में जोड़ें:

```bash
sudo docker run -d \
    --name inference-server \
    --gpus all \
    --read-only \
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-gpu:latest
```

{% endtab %}

{% tab title="TensorRT" %}
GPU कंटेनर के साथ, आप वैकल्पिक रूप से [TensorRT](https://developer.nvidia.com/tensorrt), NVIDIA का मॉडल ऑप्टिमाइज़ेशन रनटाइम, सक्षम कर सकते हैं। इससे आपके मॉडल की गति काफी बढ़ जाती है, लेकिन इसके लिए पहली बार प्रत्येक मॉडल लोड करते समय भारी कंपाइलेशन और ऑप्टिमाइज़ेशन प्रक्रिया करनी पड़ती है (जिसमें कभी-कभी 15 मिनट से ज़्यादा लगते हैं)।

TensorRT सक्षम करने के लिए `TensorrtExecutionProvider` को `ONNXRUNTIME_EXECUTION_PROVIDERS` एनवायरनमेंट वेरिएबल में जोड़ें।

```bash
sudo docker run -d \
    --name inference-server \
    --gpus all \
    --read-only \
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]" \
    roboflow/roboflow-inference-server-gpu:latest
```

{% endtab %}
{% endtabs %}

## Docker Compose

अगर आप अपने एप्लिकेशन के लिए Docker Compose का इस्तेमाल करते हैं, तो इसका समकक्ष YAML इस तरह है:

{% tabs %}
{% tab title="CPU" %}

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-cpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% endtab %}

{% tab title="GPU" %}

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% endtab %}

{% tab title="TensorRT" %}

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    पर्यावरण:
      ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% endtab %}
{% endtabs %}

{% hint style="info" %}
Roboflow Enterprise प्लान में Kubernetes डिप्लॉयमेंट के लिए [एक Helm चार्ट](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) OT नेटवर्क के लिए नेटवर्किंग समाधान, और अनुकूलित सहायता व इंस्टॉलेशन पैकेज शामिल हैं। [अधिक जानकारी के लिए बिक्री टीम से संपर्क करें](https://roboflow.com/sales) ।
{% endhint %}

## अगले चरण

* [मॉडल चलाएँ](https://docs.roboflow.com/deployment/hi/self-hosted/self-hosted.md#run-model-locally) अपने नए सर्वर पर।
* [Docker कॉन्फ़िगरेशन विकल्प](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) पोर्ट, कैशिंग और मॉडल सीमाओं के लिए।
* [स्व-होस्ट किए गए सर्वर को सुरक्षित करना](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/security.md) इसे localhost से बाहर उपलब्ध कराने से पहले।
