> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/linux.md).

# Linux पर इंस्टॉल करें

Inference CLI, Docker, या Docker Compose के साथ CPU, GPU, या TensorRT पर Linux में Roboflow Inference Server इंस्टॉल और चलाएँ।

इस पृष्ठ पर दिए गए Docker उदाहरण localhost पर पोर्ट 9001 प्रकाशित करते हैं। किसी अन्य मशीन पर मौजूद क्लाइंट्स के लिए, जानबूझकर मैपिंग को किसी पहुँच योग्य होस्ट पते पर बदलें और कॉन्फ़िगर करें [सर्वर एक्सेस](/deployment/hi/self-hosted/inference-server/configuration/security.md#restrict-network-access).

आपकी मशीन के लिए सही कंटेनर को, अच्छी डिफ़ॉल्ट सेटिंग्स (एक कैश वॉल्यूम और एक सुरक्षित, गैर-विशेषाधिकार प्राप्त निष्पादन मोड) के साथ, शुरू करने का सबसे आसान तरीका यह है कि CLI को इसे चुनने और इसके साथ शुरू करने दें `inference server start`. [Docker इंस्टॉल करें](https://docs.docker.com/engine/install/) पहले:

```bash
pip install inference-cli
inference server start
```

## कंटेनर को मैन्युअल रूप से शुरू करना

यदि आप कंटेनर सेटिंग्स पर अधिक नियंत्रण चाहते हैं, तो इसे स्वयं शुरू करें।

{% tabs %}
{% tab title="CPU" %}
core CPU Docker image में onnxruntime के माध्यम से x64 CPUs पर OpenVINO acceleration का समर्थन शामिल है। SAM2 जैसे भारी मॉडल बहुत धीमे चल सकते हैं (प्रति इमेज दर्जनों सेकंड), जिससे वे व्यावहारिक नहीं रहते; यदि आपको उनकी आवश्यकता है, तो CUDA-सक्षम GPU का उपयोग करें।

CPU inference के मुख्य उपयोग मामले स्थिर छवियों को प्रोसेस करना हैं (उदाहरण के लिए uploads का NSFW classification या document verification) या वीडियो से फ्रेम्स का कभी-कभार sampling (उदाहरण के लिए parking lot का occupancy tracking)।

CPU inference शुरू करने के लिए, उपयोग करें `roboflow/roboflow-inference-server-cpu:latest` कंटेनर.

```bash
sudo docker run -d \\
    --name inference-server \\
    --read-only \\
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-cpu:latest
```

{% endtab %}

{% tab title="GPU" %}
GPU कंटेनर NVIDIA-Docker के माध्यम से CUDA को समर्थन देने वाले कार्डों पर हार्डवेयर एक्सेलेरेशन जोड़ता है। पालन करें [NVIDIA Container Toolkit स्थापना मार्गदर्शिका](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html), फिर जोड़ें `--gpus all` को `docker run` कमांड:

```bash
sudo docker run -d \\
    --name inference-server \\
    --gpus all \
    --read-only \\
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-gpu:latest
```

{% endtab %}

{% tab title="TensorRT" %}
GPU कंटेनर के साथ आप वैकल्पिक रूप से सक्षम कर सकते हैं [TensorRT](https://developer.nvidia.com/tensorrt)सक्षम कर सकते हैं, जो NVIDIA का model optimization runtime है। यह आपके मॉडलों की गति को बहुत बढ़ा देता है, लेकिन इसके बदले एक भारी compilation और optimization चरण (कभी-कभी 15+ मिनट) लगता है, जब आप प्रत्येक मॉडल को पहली बार लोड करते हैं।

TensorRT सक्षम करने के लिए जोड़ें `TensorrtExecutionProvider` को `ONNXRUNTIME_EXECUTION_PROVIDERS` environment variable.

```bash
sudo docker run -d \\
    --name inference-server \\
    --gpus all \
    --read-only \\
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]" \
    roboflow/roboflow-inference-server-gpu:latest
```

{% endtab %}
{% endtabs %}

## Docker Compose

यदि आप अपने एप्लिकेशन के लिए Docker Compose का उपयोग करते हैं, तो समकक्ष YAML यह है:

{% tabs %}
{% tab title="CPU" %}

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-cpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% endtab %}

{% tab title="GPU" %}

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% endtab %}

{% tab title="TensorRT" %}

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    environment:
      ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% endtab %}
{% endtabs %}

{% hint style="info" %}
Roboflow Enterprise योजनाएँ जोड़ती हैं [एक Helm chart](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) Kubernetes परिनियोजन, OT नेटवर्क के लिए नेटवर्किंग समाधान, और अनुकूलित सहायता एवं स्थापना पैकेजों के लिए। [अधिक जानने के लिए sales team से संपर्क करें](https://roboflow.com/sales) ।
{% endhint %}

## अगले चरण

* [एक मॉडल चलाएँ](/deployment/hi/self-hosted/self-hosted.md#run-model-locally) अपने नए सर्वर के विरुद्ध।
* [Docker कॉन्फ़िगरेशन विकल्प](/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) पोर्ट, कैशिंग और मॉडल सीमाओं के लिए।
* [एक self-hosted server को सुरक्षित करना](/deployment/hi/self-hosted/inference-server/configuration/security.md) इससे पहले कि आप इसे localhost से आगे उपलब्ध कराएँ।