NVIDIA Jetson에 설치

JetPack 전용 컨테이너, TensorRT 가속, Docker Compose를 사용하여 NVIDIA Jetson 장치에 Roboflow Inference Server를 설치합니다.

개요

Jetson은 엣지에서 AI 및 딥러닝 워크로드를 실행하도록 설계된 NVIDIA의 소형 고효율 모듈 라인입니다. GPU, CPU, 신경 가속기를 단일 보드에 결합하여 로봇, 드론, 스마트 카메라 및 클라우드 연결 없이 실시간 컴퓨터 비전이 필요한 기타 임베디드 애플리케이션에 적합합니다. 자세한 내용은 다음을 참조하세요. NVIDIA의 Jetson 개요.

사전 요구 사항

• 디스크 공간: Roboflow Jetson 이미지(8.14GB)를 위해 최소 10GB의 여유 공간을 확보하세요.

• JetPack 버전: 지원되는 JetPack(5.x 또는 6.x).

• 권장 하드웨어: 최상의 성능을 위해 NVIDIA Orin NX 16GB 이상을 권장합니다.

• Docker 및 NVIDIA Container Toolkit: 컨테이너가 GPU에 접근하려면 Docker 엔진과 NVIDIA 런타임이 필요합니다. 다음을 따르세요. Docker 설치 가이드 및 NVIDIA Container Toolkit 가이드.

Roboflow는 JetPack L4T용 하드웨어 가속 지원이 포함된 특수 컨테이너를 제공합니다. JetPack 버전을 자동으로 감지하고 적절한 기본값으로 올바른 컨테이너를 시작하려면 다음을 실행하세요:

pip install inference-cli
inference server start

컨테이너를 수동으로 시작하기

컨테이너 설정을 더 세밀하게 제어하고 싶다면 직접 시작하세요. NVIDIA JetPack이 설치된 Jetson 장치는 NVIDIA 컨테이너 런타임이 사전 구성되어 있으며 기본적으로 하드웨어 가속이 활성화되어 있습니다.

JetPack 6.2

sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.2.0:latest

JetPack 6.0

sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.0.0:latest

JetPack 5

sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-5.1.1:latest

JetPack 4(지원 중단)

JetPack 4는 지원이 중단되었으며 향후 업데이트를 받지 않습니다. JetPack 6으로 마이그레이션하세요.

JetPack 4 이미지 태그를 사용하여 JetPack 5와 동일한 명령을 사용하세요: roboflow/roboflow-inference-server-jetson-4.6.1:latest JetPack 4.6의 경우, 또는 roboflow/roboflow-inference-server-jetson-4.5.0:latest JetPack 4.5의 경우.

TensorRT

선택적으로 TensorRT를 활성화할 수 있습니다. 이는 NVIDIA의 모델 최적화 런타임입니다. 각 모델을 처음 로드할 때 무거운 컴파일 및 최적화 단계(때로는 15분 이상)가 필요하므로, 모델 속도를 크게 향상시키는 대신 비용이 발생합니다.

다음을 추가하여 TensorRT를 활성화하세요 TensorrtExecutionProvider 를 ONNXRUNTIME_EXECUTION_PROVIDERS 환경 변수에 위 명령 중 하나에 추가합니다:

    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]" \\

지속성 캐시 볼륨을 마운트하면(위 명령과 같이) 재시작 간에 컴파일된 TensorRT 엔진이 유지되므로, 모델당 컴파일 비용은 한 번만 지불하면 됩니다.

Docker Compose

애플리케이션에 Docker Compose를 사용하는 경우, 아래에 해당하는 YAML이 있습니다. JetPack 버전에 맞게 이미지 태그를 바꾸세요: jetson-6.2.0, jetson-6.0.0, jetson-5.1.1, jetson-4.6.1또는 jetson-4.5.0.

version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-jetson-6.2.0:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    runtime: nvidia

    # 선택 사항: TensorRT를 활성화하려면 다음 줄의 주석을 해제하세요:
    # environment:
    #   ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

Roboflow Enterprise 요금제에는 Kubernetes 배포용 Helm 차트 , OT 네트워크용 네트워킹 솔루션, 맞춤형 지원 및 설치 패키지, 그리고 사전 구성된 Jetson 기반 엣지 장치. 영업팀에 문의하세요 자세한 내용을 알아보세요.

다음 단계

• 모델 실행 를 새 서버에 대해.

• Deployment Manager (Enterprise)를 사용해 Jetson 장치의 플릿을 원격으로 관리하세요.

• 자가 호스팅 서버 보안 설정 로컬호스트를 넘어 공개하기 전에.