> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/install/jetson.md).

# NVIDIA Jetson에 설치

JetPack 전용 컨테이너, TensorRT 가속, Docker Compose를 사용하여 NVIDIA Jetson 장치에 Roboflow Inference Server를 설치합니다.

## 개요

Jetson은 엣지에서 AI 및 딥러닝 워크로드를 실행하도록 설계된 NVIDIA의 소형 고효율 모듈 제품군입니다. GPU, CPU, 신경망 가속기를 단일 보드에 결합해 클라우드 연결 없이 실시간 컴퓨터 비전이 필요한 로봇, 드론, 스마트 카메라 및 기타 임베디드 애플리케이션에 적합합니다. 자세한 내용은 다음을 참조하세요. [NVIDIA Jetson 개요](https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/).

## 사전 요구 사항

* **디스크 공간:** Roboflow Jetson 이미지(8.14 GB)를 위해 최소 10 GB의 여유 공간을 확보하세요.
* **JetPack 버전:** 지원되는 JetPack(5.x 또는 6.x)이 필요합니다.
* **권장 하드웨어:** 최상의 성능을 위해 NVIDIA Orin NX 16 GB 이상을 권장합니다.
* **Docker 및 NVIDIA Container Toolkit:** 컨테이너에서 GPU에 액세스하려면 Docker 엔진과 NVIDIA 런타임이 필요합니다. 다음 가이드를 따르세요. [Docker 설치 가이드](https://docs.docker.com/engine/install/ubuntu/) 및 [NVIDIA Container Toolkit 가이드](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html).

Roboflow는 JetPack L4T용 하드웨어 가속 지원이 포함된 전용 컨테이너를 제공합니다. JetPack 버전을 자동으로 감지하고 적절한 기본 설정으로 올바른 컨테이너를 시작하려면 다음을 실행하세요.

```bash
pip install inference-cli
inference server start
```

{% hint style="warning" %}
**서버는 전체 네트워크에서 접속할 수 있습니다.** 다른 대상은 `127.0.0.1`에 게시되지만 Jetson 이미지는 `0.0.0.0` 에 게시되므로 다른 컴퓨터에서 장치를 제어할 수 있습니다. 이 페이지의 수동 `docker run` 예시도 동일한 방식으로 포트 9001을 게시합니다. 즉, Jetson으로 라우팅할 수 있는 모든 장치에서 서버를 사용할 수 있습니다. 서버에는 기본적으로 인증이 설정되어 있지 않으며, Workflows Custom Python 블록을 실행하므로 장치에서 원격 코드 실행이 가능합니다. 원격 클라이언트를 서비스하기 전에 로컬에서만 액세스하려면 `inference server start --bind-address 127.0.0.1` 를 사용하거나 [서버 인증 및 네트워크 제한](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/configuration/security.md) 을 구성하세요.
{% endhint %}

## 컨테이너 수동 시작

컨테이너 설정을 더 세밀하게 제어하려면 직접 시작하세요. NVIDIA JetPack이 설치된 Jetson 장치는 NVIDIA 컨테이너 런타임이 미리 구성되어 있어 별도 설정 없이 하드웨어 가속을 사용할 수 있습니다.

{% tabs %}
{% tab title="JetPack 6.2" %}

```bash
sudo docker run -d \
    --name inference-server \
    --runtime nvidia \
    --read-only \
    -p 9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-jetson-6.2.0:latest
```

{% endtab %}

{% tab title="JetPack 6.0" %}

```bash
sudo docker run -d \
    --name inference-server \
    --runtime nvidia \
    --read-only \
    -p 9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-jetson-6.0.0:latest
```

{% endtab %}

{% tab title="JetPack 5" %}

```bash
sudo docker run -d \
    --name inference-server \
    --runtime nvidia \
    --read-only \
    -p 9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-jetson-5.1.1:latest
```

{% endtab %}

{% tab title="JetPack 4(지원 중단됨)" %}
{% hint style="warning" %}
JetPack 4는 지원이 중단되었으며 향후 업데이트를 받을 수 없습니다. JetPack 6으로 마이그레이션하세요.
{% endhint %}

JetPack 4 이미지 태그를 사용해 JetPack 5와 동일한 명령을 실행하세요. `roboflow/roboflow-inference-server-jetson-4.6.1:latest` JetPack 4.6의 경우, 또는 `roboflow/roboflow-inference-server-jetson-4.5.0:latest` JetPack 4.5의 경우.
{% endtab %}
{% endtabs %}

## TensorRT

선택적으로  [TensorRT](https://developer.nvidia.com/tensorrt)라는 NVIDIA의 모델 최적화 런타임을 활성화할 수 있습니다. TensorRT는 모델 속도를 크게 높여 주지만, 각 모델을 처음 로드할 때 많은 시간이 소요되는 컴파일 및 최적화 단계가 필요합니다(때로는 15분 이상).

TensorRT를 활성화하려면 위 명령 중 하나에서  `TensorrtExecutionProvider` 를  `ONNXRUNTIME_EXECUTION_PROVIDERS`  환경 변수에 추가하세요:

```bash
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]" \
```

위 명령과 같이 영구 캐시 볼륨을 마운트하면 재시작 후에도 컴파일된 TensorRT 엔진이 유지되므로 모델마다 한 번만 컴파일하면 됩니다.

## Docker Compose

애플리케이션에 Docker Compose를 사용하는 경우 아래의 YAML을 사용하세요. 이미지 태그를 사용 중인 JetPack 버전에 맞게 변경하세요: `jetson-6.2.0`, `jetson-6.0.0`, `jetson-5.1.1`, `jetson-4.6.1` 또는  `jetson-4.5.0`.

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-jetson-6.2.0:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    runtime: nvidia

    # 선택 사항: TensorRT를 활성화하려면 다음 줄의 주석을 해제하세요:
    # environment:
    #   ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% hint style="info" %}
Roboflow Enterprise 플랜에는 Kubernetes 배포를 위한  [Helm 차트](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) , OT 네트워크용 네트워킹 솔루션, 맞춤형 지원 및 설치 패키지,  [사전 구성된 Jetson 기반 엣지 디바이스가 추가됩니다](https://roboflow.com/hardware). [영업팀에 문의](https://roboflow.com/sales) 하여 자세히 알아보세요.
{% endhint %}

## 다음 단계

* [모델을 실행](https://docs.roboflow.com/deployment/ko/self-hosted/self-hosted.md#run-model-locally) 하여 새 서버에서 테스트하세요.
* [Deployment Manager](https://docs.roboflow.com/deployment/ko/self-hosted/enterprise/deployment-manager.md) (Enterprise)를 사용하여 여러 Jetson 디바이스를 원격으로 관리하세요.
* [자체 호스팅 서버 보안 설정](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/configuration/security.md) 을 확인한 후 localhost 외부에 노출하세요.
