> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/install/jetson.md).

# NVIDIA Jetson에 설치

JetPack 전용 컨테이너, TensorRT 가속 및 Docker Compose를 사용하여 NVIDIA Jetson 장치에 Roboflow Inference Server를 설치합니다.

## 개요

Jetson은 AI와 딥러닝 워크로드를 엣지에서 실행하도록 설계된 NVIDIA의 소형, 전력 효율적인 모듈 제품군입니다. GPU, CPU, 신경 가속기를 하나의 보드에 결합해 로보틱스, 드론, 스마트 카메라, 그리고 클라우드 연결 없이 실시간 컴퓨터 비전이 필요한 기타 임베디드 애플리케이션에 잘 맞습니다. 자세한 내용은 [NVIDIA의 Jetson 개요](https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/).

## 사전 요구 사항

* **디스크 공간:** Roboflow Jetson 이미지(8.14 GB)를 위해 최소 10 GB의 여유 공간을 할당하세요.
* **JetPack 버전:** 지원되는 JetPack(5.x 또는 6.x).
* **권장 하드웨어:** 최상의 성능을 위해 NVIDIA Orin NX 16 GB 이상.
* **Docker 및 NVIDIA Container Toolkit:** 컨테이너가 GPU에 액세스하려면 Docker 엔진과 NVIDIA 런타임이 필요합니다. 다음을 따르세요 [Docker 설치 가이드](https://docs.docker.com/engine/install/ubuntu/) 및 [NVIDIA Container Toolkit 가이드](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html).

Roboflow는 JetPack L4T용 하드웨어 가속 지원으로 빌드된 특화된 컨테이너를 제공합니다. JetPack 버전을 자동으로 감지하고 올바른 기본값으로 적절한 컨테이너를 시작하려면 다음을 실행하세요:

```bash
pip install inference-cli
inference server start
```

{% hint style="warning" %}
**서버는 전체 네트워크에서 접속할 수 있습니다.** 다른 대상과 달리, 다음에 게시되는 `127.0.0.1`, Jetson 이미지는 다음에 게시됩니다 `0.0.0.0` 따라서 다른 머신에서 장치를 제어할 수 있으며, 수동 `docker run` 이 페이지의 예제들도 같은 방식으로 포트 9001을 게시합니다. 즉 Jetson으로 라우팅할 수 있는 모든 것이 서버를 사용할 수 있으며, 기본적으로 인증이 없고 Workflows Custom Python 블록을 실행합니다 - 장치에서 원격 코드 실행. 다음을 사용하세요 `inference server start --bind-address 127.0.0.1` 로컬 전용 액세스를 위해, 또는 다음을 구성하세요 [서버 인증 및 네트워크 제한](/deployment/ko/self-hosted/inference-server/configuration/security.md) 을 원격 클라이언트에 제공하기 전에.
{% endhint %}

## 컨테이너를 수동으로 시작하기

컨테이너 설정을 더 제어하고 싶다면 직접 시작하세요. NVIDIA JetPack이 설치된 Jetson 장치는 NVIDIA 컨테이너 런타임이 사전 구성되어 있으며, 기본적으로 하드웨어 가속이 활성화되어 있습니다.

{% tabs %}
{% tab title="JetPack 6.2" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.2.0:latest
```

{% endtab %}

{% tab title="JetPack 6.0" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.0.0:latest
```

{% endtab %}

{% tab title="JetPack 5" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-5.1.1:latest
```

{% endtab %}

{% tab title="JetPack 4 (지원 중단)" %}
{% hint style="warning" %}
JetPack 4는 지원이 중단되었으며 향후 업데이트를 받지 않습니다. JetPack 6로 마이그레이션하세요.
{% endhint %}

JetPack 5와 같은 명령을 사용하되 JetPack 4 이미지 태그를 사용하세요: `roboflow/roboflow-inference-server-jetson-4.6.1:latest` JetPack 4.6의 경우, 또는 `roboflow/roboflow-inference-server-jetson-4.5.0:latest` JetPack 4.5의 경우.
{% endtab %}
{% endtabs %}

## TensorRT

선택적으로 다음을 활성화할 수 있습니다 [TensorRT](https://developer.nvidia.com/tensorrt), NVIDIA의 모델 최적화 런타임입니다. 각 모델을 처음 로드할 때 무거운 컴파일 및 최적화 단계(때때로 15분 이상)를 치르는 대신 모델 속도를 크게 높여줍니다.

TensorRT를 활성화하려면 다음을 추가하세요 `TensorrtExecutionProvider` 을 `ONNXRUNTIME_EXECUTION_PROVIDERS` 환경 변수에 추가하세요. 위의 명령 중 아무 데나:

```bash
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]" \\
```

지속적인 캐시 볼륨을 마운트하면(위 명령과 같이) 재시작 사이에 컴파일된 TensorRT 엔진이 유지되어, 모델당 컴파일 비용을 한 번만 지불하면 됩니다.

## Docker Compose

애플리케이션에 Docker Compose를 사용한다면, 이에 상응하는 YAML은 아래와 같습니다. JetPack 버전에 맞게 이미지 태그를 바꾸세요: `jetson-6.2.0`, `jetson-6.0.0`, `jetson-5.1.1`, `jetson-4.6.1`, 또는 `jetson-4.5.0`.

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-jetson-6.2.0:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    runtime: nvidia

    # 선택 사항: TensorRT를 활성화하려면 다음 줄의 주석을 해제하세요:
    # environment:
    #   ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% hint style="info" %}
Roboflow Enterprise 요금제에는 [Helm 차트](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) 가 Kubernetes 배포, OT 네트워크용 네트워킹 솔루션, 맞춤형 지원 및 설치 패키지, 그리고 [사전 구성된 Jetson 기반 엣지 장치](https://roboflow.com/hardware). [영업팀에 문의하세요](https://roboflow.com/sales) 자세한 내용을 알아보세요.
{% endhint %}

## 다음 단계

* [새 서버에서 모델을 실행하세요.](/deployment/ko/self-hosted/self-hosted.md#run-model-locally) 새 서버를 대상으로.
* [배포 관리자](/deployment/ko/self-hosted/enterprise/deployment-manager.md) (Enterprise)를 사용하여 Jetson 장치 군을 원격으로 관리하세요.
* [자체 호스팅 서버 보안](/deployment/ko/self-hosted/inference-server/configuration/security.md) localhost를 넘어 노출하기 전에.