> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/install/jetson.md).

# NVIDIA Jetson에 설치

## 개요

Jetson은 엣지에서 AI 및 딥러닝 워크로드를 실행하도록 설계된 NVIDIA의 소형 고효율 모듈 라인입니다. GPU, CPU, 신경 가속기를 단일 보드에 결합하여 로봇, 드론, 스마트 카메라 및 클라우드 연결 없이 실시간 컴퓨터 비전이 필요한 기타 임베디드 애플리케이션에 적합합니다. 자세한 내용은 다음을 참조하세요. [NVIDIA의 Jetson 개요](https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/).

## 사전 요구 사항

* **디스크 공간:** Roboflow Jetson 이미지(8.14GB)를 위해 최소 10GB의 여유 공간을 확보하세요.
* **JetPack 버전:** 지원되는 JetPack(5.x 또는 6.x).
* **권장 하드웨어:** 최상의 성능을 위해 NVIDIA Orin NX 16GB 이상을 권장합니다.
* **Docker 및 NVIDIA Container Toolkit:** 컨테이너가 GPU에 접근하려면 Docker 엔진과 NVIDIA 런타임이 필요합니다. 다음을 따르세요. [Docker 설치 가이드](https://docs.docker.com/engine/install/ubuntu/) 및 [NVIDIA Container Toolkit 가이드](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html).

Roboflow는 JetPack L4T용 하드웨어 가속 지원이 포함된 특수 컨테이너를 제공합니다. JetPack 버전을 자동으로 감지하고 적절한 기본값으로 올바른 컨테이너를 시작하려면 다음을 실행하세요:

```bash
pip install inference-cli
inference server start
```

## 컨테이너를 수동으로 시작하기

컨테이너 설정을 더 세밀하게 제어하고 싶다면 직접 시작하세요. NVIDIA JetPack이 설치된 Jetson 장치는 NVIDIA 컨테이너 런타임이 사전 구성되어 있으며 기본적으로 하드웨어 가속이 활성화되어 있습니다.

{% tabs %}
{% tab title="JetPack 6.2" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.2.0:latest
```

{% endtab %}

{% tab title="JetPack 6.0" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.0.0:latest
```

{% endtab %}

{% tab title="JetPack 5" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-5.1.1:latest
```

{% endtab %}

{% tab title="JetPack 4(지원 중단)" %}
{% hint style="warning" %}
JetPack 4는 지원이 중단되었으며 향후 업데이트를 받지 않습니다. JetPack 6으로 마이그레이션하세요.
{% endhint %}

JetPack 4 이미지 태그를 사용하여 JetPack 5와 동일한 명령을 사용하세요: `roboflow/roboflow-inference-server-jetson-4.6.1:latest` JetPack 4.6의 경우, 또는 `roboflow/roboflow-inference-server-jetson-4.5.0:latest` JetPack 4.5의 경우.
{% endtab %}
{% endtabs %}

## TensorRT

선택적으로 [TensorRT](https://developer.nvidia.com/tensorrt)를 활성화할 수 있습니다. 이는 NVIDIA의 모델 최적화 런타임입니다. 각 모델을 처음 로드할 때 무거운 컴파일 및 최적화 단계(때로는 15분 이상)가 필요하므로, 모델 속도를 크게 향상시키는 대신 비용이 발생합니다.

다음을 추가하여 TensorRT를 활성화하세요 `TensorrtExecutionProvider` 를 `ONNXRUNTIME_EXECUTION_PROVIDERS` 환경 변수에 위 명령 중 하나에 추가합니다:

```bash
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]" \\
```

지속성 캐시 볼륨을 마운트하면(위 명령과 같이) 재시작 간에 컴파일된 TensorRT 엔진이 유지되므로, 모델당 컴파일 비용은 한 번만 지불하면 됩니다.

## Docker Compose

애플리케이션에 Docker Compose를 사용하는 경우, 아래에 해당하는 YAML이 있습니다. JetPack 버전에 맞게 이미지 태그를 바꾸세요: `jetson-6.2.0`, `jetson-6.0.0`, `jetson-5.1.1`, `jetson-4.6.1`또는 `jetson-4.5.0`.

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-jetson-6.2.0:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    runtime: nvidia

    # 선택 사항: TensorRT를 활성화하려면 다음 줄의 주석을 해제하세요:
    # environment:
    #   ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% hint style="info" %}
Roboflow Enterprise 요금제에는 [Kubernetes 배포용 Helm 차트](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) , OT 네트워크용 네트워킹 솔루션, 맞춤형 지원 및 설치 패키지, 그리고 [사전 구성된 Jetson 기반 엣지 장치](https://roboflow.com/hardware). [영업팀에 문의하세요](https://roboflow.com/sales) 자세한 내용을 알아보세요.
{% endhint %}

## 다음 단계

* [모델 실행](/deployment/ko/self-hosted/self-hosted.md#run-a-model) 를 새 서버에 대해.
* [Deployment Manager](/deployment/ko/self-hosted/enterprise/deployment-manager.md) (Enterprise)를 사용해 Jetson 장치의 플릿을 원격으로 관리하세요.
* [자가 호스팅 서버 보안 설정](/deployment/ko/self-hosted/inference-server/configuration/security.md) 로컬호스트를 넘어 공개하기 전에.