NVIDIA Jetson पर इंस्टॉल करें

JetPack-विशिष्ट कंटेनरों, TensorRT acceleration, और Docker Compose के साथ NVIDIA Jetson डिवाइस पर Roboflow Inference Server इंस्टॉल करें।

अवलोकन

Jetson, NVIDIA के कॉम्पैक्ट, ऊर्जा-कुशल मॉड्यूलों की श्रृंखला है, जिसे एज पर AI और डीप लर्निंग वर्कलोड चलाने के लिए डिज़ाइन किया गया है। ये एक ही बोर्ड पर GPU, CPU, और न्यूरल एक्सेलेरेटर को जोड़ते हैं, जिससे ये रोबोटिक्स, ड्रोन, स्मार्ट कैमरों, और अन्य एम्बेडेड अनुप्रयोगों के लिए उपयुक्त होते हैं जिन्हें क्लाउड कनेक्शन के बिना रीयल-टाइम कंप्यूटर विज़न की आवश्यकता होती है। अधिक विवरण के लिए, देखें NVIDIA का Jetson अवलोकन.

पूर्वापेक्षाएँ

• डिस्क स्थान: Roboflow Jetson इमेज (8.14 GB) के लिए कम से कम 10 GB खाली स्थान आवंटित करें।

• JetPack संस्करण: एक समर्थित JetPack (5.x या 6.x)।

• अनुशंसित हार्डवेयर: सर्वोत्तम प्रदर्शन के लिए NVIDIA Orin NX 16 GB या उससे अधिक।

• Docker और NVIDIA Container Toolkit: कंटेनरों को GPU तक पहुँचने के लिए Docker इंजन के साथ NVIDIA रनटाइम की आवश्यकता होती है। पालन करें Docker इंस्टॉल गाइड और NVIDIA Container Toolkit गाइड.

Roboflow, JetPack L4T के लिए हार्डवेयर एक्सेलेरेशन समर्थन के साथ बनाए गए विशेष कंटेनर प्रकाशित करता है। अपनी JetPack संस्करण को स्वचालित रूप से पहचानने और अच्छे डिफ़ॉल्ट्स के साथ सही कंटेनर शुरू करने के लिए, चलाएँ:

pip install inference-cli
inference server start

कंटेनर को मैन्युअल रूप से शुरू करना

यदि आप कंटेनर सेटिंग्स पर अधिक नियंत्रण चाहते हैं, तो इसे स्वयं शुरू करें। NVIDIA JetPack वाले Jetson डिवाइस NVIDIA कंटेनर रनटाइम के साथ पहले से कॉन्फ़िगर होते हैं और बॉक्स से निकलते ही हार्डवेयर-त्वरित होते हैं।

JetPack 6.2

sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.2.0:latest

JetPack 6.0

sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.0.0:latest

JetPack 5

sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-5.1.1:latest

JetPack 4 (अप्रचलित)

JetPack 4 अप्रचलित है और इसे भविष्य के अपडेट नहीं मिलेंगे। कृपया JetPack 6 पर माइग्रेट करें।

JetPack 4 इमेज टैग के साथ वही कमांड उपयोग करें जो JetPack 5 के लिए है: roboflow/roboflow-inference-server-jetson-4.6.1:latest JetPack 4.6 के लिए, या roboflow/roboflow-inference-server-jetson-4.5.0:latest JetPack 4.5 के लिए।

TensorRT

आप वैकल्पिक रूप से सक्षम कर सकते हैं TensorRTNVIDIA का मॉडल अनुकूलन रनटाइम। यह भारी संकलन और अनुकूलन चरण (कभी-कभी 15+ मिनट) की कीमत पर आपके मॉडल की गति को बहुत बढ़ा देता है, जो आप प्रत्येक मॉडल को पहली बार लोड करते समय होता है।

TensorRT सक्षम करें यह जोड़कर TensorrtExecutionProvider को ONNXRUNTIME_EXECUTION_PROVIDERS ऊपर दिए गए किसी भी कमांड में पर्यावरण चर के रूप में:

    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]" \\

एक स्थायी कैश वॉल्यूम माउंट करने से (जैसा ऊपर के कमांडों में है) पुनः आरंभों के बीच संकलित TensorRT इंजन बने रहते हैं, इसलिए आपको प्रत्येक मॉडल के लिए संकलन लागत केवल एक बार चुकानी पड़ती है।

Docker Compose

यदि आप अपने अनुप्रयोग के लिए Docker Compose का उपयोग करते हैं, तो समकक्ष YAML नीचे है। अपने JetPack संस्करण के लिए इमेज टैग बदलें: jetson-6.2.0, jetson-6.0.0, jetson-5.1.1, jetson-4.6.1या jetson-4.5.0.

version: "3.9"

सेवाएँ:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-jetson-6.2.0:latest

    read_only: true
    पोर्ट्स:
      - "9001:9001"

    वॉल्यूम्स:
      - "${HOME}/.inference/cache:/tmp:rw"

    runtime: nvidia

    # वैकल्पिक रूप से: TensorRT सक्षम करने के लिए निम्न पंक्तियों को अनकमेंट करें:
    # environment:
    #   ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

Roboflow Enterprise योजनाएँ जोड़ती हैं एक Helm chart Kubernetes परिनियोजन के लिए, OT नेटवर्कों के लिए नेटवर्किंग समाधान, अनुकूलित सहायता और स्थापना पैकेज, तथा एक पहले से कॉन्फ़िगर किया गया Jetson-आधारित एज डिवाइस. बिक्री टीम से संपर्क करें अधिक जानने के लिए।

अगले चरण

• मॉडल चलाएँ अपने नए सर्वर के विरुद्ध।

• परिनियोजन प्रबंधक (Enterprise) दूरस्थ रूप से Jetson डिवाइसों के बेड़े का प्रबंधन करने के लिए।

• self-hosted सर्वर को सुरक्षित करना उसे localhost से बाहर उजागर करने से पहले।