> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/jetson.md).

# NVIDIA Jetson पर इंस्टॉल करें

JetPack-विशिष्ट containers, TensorRT acceleration, और Docker Compose के साथ NVIDIA Jetson device पर Roboflow Inference Server इंस्टॉल करें।

## अवलोकन

Jetson, NVIDIA के कॉम्पैक्ट और ऊर्जा-कुशल मॉड्यूल की श्रृंखला है, जिसे एज पर AI और डीप लर्निंग वर्कलोड चलाने के लिए डिज़ाइन किया गया है। एक ही बोर्ड पर GPU, CPU और न्यूरल एक्सेलरेटर होने के कारण यह रोबोटिक्स, ड्रोन, स्मार्ट कैमरों और ऐसे अन्य एम्बेडेड अनुप्रयोगों के लिए उपयुक्त है जिन्हें क्लाउड कनेक्शन के बिना रीयल-टाइम कंप्यूटर विज़न की आवश्यकता होती है। अधिक जानकारी के लिए देखें [NVIDIA का Jetson अवलोकन](https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/).

## ज़रूरी शर्तें

* **डिस्क स्थान:** Roboflow Jetson इमेज (8.14 GB) के लिए कम से कम 10 GB खाली स्थान आवंटित करें।
* **JetPack संस्करण:** समर्थित JetPack (5.x या 6.x)।
* **अनुशंसित हार्डवेयर:** बेहतर प्रदर्शन के लिए NVIDIA Orin NX 16 GB या इससे अधिक।
* **Docker और NVIDIA Container Toolkit:** GPU तक पहुँचने के लिए कंटेनरों को Docker इंजन और NVIDIA रनटाइम—दोनों की आवश्यकता होती है। इनका पालन करें: [Docker इंस्टॉल करने की गाइड](https://docs.docker.com/engine/install/ubuntu/) और [NVIDIA Container Toolkit की गाइड](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html).

Roboflow, JetPack L4T के लिए हार्डवेयर एक्सेलरेशन सपोर्ट वाले विशेष कंटेनर प्रकाशित करता है। अपने JetPack संस्करण का अपने-आप पता लगाने और सही कंटेनर को उपयुक्त डिफ़ॉल्ट सेटिंग्स के साथ शुरू करने के लिए चलाएँ:

```bash
pip install inference-cli
inference server start
```

{% hint style="warning" %}
**आपके पूरे नेटवर्क से सर्वर तक पहुँचा जा सकता है।** अन्य टार्गेट के विपरीत, जो `127.0.0.1`पर प्रकाशित होते हैं, Jetson इमेज `0.0.0.0` पर प्रकाशित होती हैं, ताकि आप किसी दूसरी मशीन से डिवाइस का उपयोग कर सकें। इस पेज पर दिए गए मैन्युअल `docker run` उदाहरण भी इसी तरह पोर्ट 9001 प्रकाशित करते हैं। इसका मतलब है कि Jetson तक नेटवर्क रूट कर सकने वाला कोई भी डिवाइस सर्वर का उपयोग कर सकता है। सर्वर में डिफ़ॉल्ट रूप से कोई प्रमाणीकरण नहीं होता और यह Workflows के Custom Python ब्लॉक चलाता है—जिससे डिवाइस पर रिमोट कोड निष्पादन संभव है। केवल स्थानीय पहुँच के लिए `inference server start --bind-address 127.0.0.1` का उपयोग करें, या रिमोट क्लाइंट को सेवा देने से पहले [सर्वर प्रमाणीकरण और नेटवर्क प्रतिबंध](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/security.md) कॉन्फ़िगर करें।
{% endhint %}

## कंटेनर को मैन्युअल रूप से शुरू करना

अगर आप कंटेनर सेटिंग पर अधिक नियंत्रण चाहते हैं, तो इसे खुद शुरू करें। NVIDIA JetPack वाले Jetson डिवाइस NVIDIA कंटेनर रनटाइम के साथ पहले से कॉन्फ़िगर होते हैं और शुरुआत से ही हार्डवेयर एक्सेलरेशन का समर्थन करते हैं।

{% tabs %}
{% tab title="JetPack 6.2" %}

```bash
sudo docker run -d \
    --name inference-server \
    --runtime nvidia \
    --read-only \
    -p 9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-jetson-6.2.0:latest
```

{% endtab %}

{% tab title="JetPack 6.0" %}

```bash
sudo docker run -d \
    --name inference-server \
    --runtime nvidia \
    --read-only \
    -p 9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-jetson-6.0.0:latest
```

{% endtab %}

{% tab title="JetPack 5" %}

```bash
sudo docker run -d \
    --name inference-server \
    --runtime nvidia \
    --read-only \
    -p 9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-jetson-5.1.1:latest
```

{% endtab %}

{% tab title="JetPack 4 (अप्रचलित)" %}
{% hint style="warning" %}
JetPack 4 अब अप्रचलित है और इसके लिए भविष्य में अपडेट जारी नहीं किए जाएँगे। कृपया JetPack 6 पर माइग्रेट करें।
{% endhint %}

JetPack 4 इमेज टैग के साथ JetPack 5 वाली वही कमांड इस्तेमाल करें: `roboflow/roboflow-inference-server-jetson-4.6.1:latest` JetPack 4.6 के लिए, या `roboflow/roboflow-inference-server-jetson-4.5.0:latest` JetPack 4.5 के लिए।
{% endtab %}
{% endtabs %}

## TensorRT

आप वैकल्पिक रूप से [TensorRT](https://developer.nvidia.com/tensorrt), NVIDIA का मॉडल ऑप्टिमाइज़ेशन रनटाइम सक्षम कर सकते हैं। इससे आपके मॉडलों की गति काफ़ी बढ़ जाती है, लेकिन हर मॉडल को पहली बार लोड करते समय एक लंबा कंपाइलेशन और ऑप्टिमाइज़ेशन चरण करना पड़ता है (कभी-कभी 15 मिनट से भी ज़्यादा)।

TensorRT सक्षम करने के लिए, ऊपर दिए गए किसी भी कमांड में `TensorrtExecutionProvider` को `ONNXRUNTIME_EXECUTION_PROVIDERS` एनवायरनमेंट वेरिएबल में जोड़ें:

```bash
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]" \
```

ऊपर दिए गए कमांड की तरह, कैश के लिए एक स्थायी वॉल्यूम माउंट करने से कंपाइल किए गए TensorRT इंजन रीस्टार्ट के दौरान सुरक्षित रहते हैं। इससे हर मॉडल के लिए कंपाइलेशन का खर्च केवल एक बार उठाना पड़ता है।

## Docker Compose

यदि आप अपने एप्लिकेशन के लिए Docker Compose का उपयोग करते हैं, तो इसका समकक्ष YAML नीचे दिया गया है। इमेज टैग को अपने JetPack संस्करण के अनुसार बदलें: `jetson-6.2.0`, `jetson-6.0.0`, `jetson-5.1.1`, `jetson-4.6.1`, या `jetson-4.5.0`.

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-jetson-6.2.0:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    runtime: nvidia

    # वैकल्पिक: TensorRT सक्षम करने के लिए निम्न पंक्तियों की टिप्पणी हटाएँ:
    # environment:
    #   ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% hint style="info" %}
Roboflow Enterprise योजनाओं में शामिल हैं [एक Helm चार्ट](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) Kubernetes डिप्लॉयमेंट के लिए, OT नेटवर्क हेतु नेटवर्किंग समाधान, अनुकूलित सहायता और इंस्टॉलेशन पैकेज, और [Jetson-आधारित, पहले से कॉन्फ़िगर किया गया एज डिवाइस](https://roboflow.com/hardware). [अधिक जानकारी के लिए बिक्री टीम से संपर्क करें](https://roboflow.com/sales) ।
{% endhint %}

## अगले चरण

* [मॉडल चलाएँ](https://docs.roboflow.com/deployment/hi/self-hosted/self-hosted.md#run-model-locally) अपने नए सर्वर पर।
* [Deployment Manager](https://docs.roboflow.com/deployment/hi/self-hosted/enterprise/deployment-manager.md) (Enterprise) का उपयोग करके Jetson डिवाइसों के बेड़े को दूरस्थ रूप से प्रबंधित करें।
* [स्व-होस्ट किए गए सर्वर को सुरक्षित करना](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/security.md) इसे localhost से बाहर उपलब्ध कराने से पहले।
