> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ja/self-hosted/inference-server/install/jetson.md).

# NVIDIA Jetson にインストール

JetPack 固有のコンテナ、TensorRT アクセラレーション、Docker Compose を使って NVIDIA Jetson デバイスに Roboflow Inference Server をインストールします。

## 概要

Jetsonは、エッジでAIやディープラーニングのワークロードを実行するために設計された、NVIDIAの小型で電力効率に優れたモジュールシリーズです。GPU、CPU、ニューラルアクセラレーターを1枚のボードに統合しているため、クラウド接続なしでリアルタイムのコンピュータービジョンを必要とするロボティクス、ドローン、スマートカメラなどの組み込みアプリケーションに適しています。詳しくは、 [NVIDIAのJetson概要](https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/).

## 前提条件

* **ディスク容量：** Roboflow Jetsonイメージ（8.14 GB）用に、少なくとも10 GBの空き容量を確保してください。
* **JetPackのバージョン：** サポート対象のJetPack（5.xまたは6.x）。
* **推奨ハードウェア：** 最高のパフォーマンスを得るには、NVIDIA Orin NX 16 GB以上。
* **DockerとNVIDIA Container Toolkit：** コンテナからGPUにアクセスするには、DockerエンジンとNVIDIAランタイムが必要です。以下を参照してください。 [Dockerのインストールガイド](https://docs.docker.com/engine/install/ubuntu/) および [NVIDIA Container Toolkitガイド](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html).

Roboflowは、JetPack L4Tのハードウェアアクセラレーションに対応した専用コンテナを公開しています。JetPackのバージョンを自動検出し、適切なデフォルト設定でコンテナを起動するには、次を実行します：

```bash
pip install inference-cli
inference server start
```

{% hint style="warning" %}
**サーバーはネットワーク全体からアクセスできます。** 他のターゲットでは `127.0.0.1`に公開されますが、Jetsonイメージは `0.0.0.0` に公開されるため、別のマシンからデバイスを操作できます。また、このページにある手動の `docker run` の例も、同様にポート9001を公開します。つまり、Jetsonにルーティングできるすべての端末からサーバーを利用できます。このサーバーはデフォルトで認証がなく、WorkflowsのカスタムPythonブロック（デバイス上でのリモートコード実行）を実行します。ローカルからのみアクセスするには `inference server start --bind-address 127.0.0.1` を使用するか、リモートクライアントにサービスを提供する前に [サーバー認証とネットワーク制限](https://docs.roboflow.com/deployment/ja/self-hosted/inference-server/configuration/security.md) を設定してください。
{% endhint %}

## コンテナを手動で起動する

コンテナ設定をより細かく制御したい場合は、自分で起動してください。NVIDIA JetPack搭載のJetsonデバイスは、NVIDIAコンテナランタイムが事前設定されており、標準でハードウェアアクセラレーションが有効になっています。

{% tabs %}
{% tab title="JetPack 6.2" %}

```bash
sudo docker run -d \
    --name inference-server \
    --runtime nvidia \
    --read-only \
    -p 9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-jetson-6.2.0:latest
```

{% endtab %}

{% tab title="JetPack 6.0" %}

```bash
sudo docker run -d \
    --name inference-server \
    --runtime nvidia \
    --read-only \
    -p 9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-jetson-6.0.0:latest
```

{% endtab %}

{% tab title="JetPack 5" %}

```bash
sudo docker run -d \
    --name inference-server \
    --runtime nvidia \
    --read-only \
    -p 9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-jetson-5.1.1:latest
```

{% endtab %}

{% tab title="JetPack 4（非推奨）" %}
{% hint style="warning" %}
JetPack 4は非推奨であり、今後アップデートは提供されません。JetPack 6に移行してください。
{% endhint %}

JetPack 4のイメージタグを指定し、JetPack 5と同じコマンドを使用します： `roboflow/roboflow-inference-server-jetson-4.6.1:latest` JetPack 4.6の場合は、 `roboflow/roboflow-inference-server-jetson-4.5.0:latest` JetPack 4.5の場合は、
{% endtab %}
{% endtabs %}

## TensorRT

必要に応じて [TensorRT](https://developer.nvidia.com/tensorrt)を有効にできます。TensorRTはNVIDIAのモデル最適化ランタイムです。各モデルの初回読み込み時に負荷の高いコンパイルと最適化の処理が必要になりますが（15分以上かかることもあります）、モデルの実行速度が大幅に向上します。

TensorRTを有効にするには、上記のいずれかのコマンドで `TensorrtExecutionProvider` を `ONNXRUNTIME_EXECUTION_PROVIDERS` 環境変数に追加します。

```bash
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]" \
```

上記のコマンドのように永続キャッシュボリュームをマウントすると、コンパイル済みのTensorRTエンジンが再起動後も保持されるため、コンパイルはモデルごとに一度だけで済みます。

## Docker Compose

アプリケーションでDocker Composeを使用する場合、同等のYAMLは以下のとおりです。イメージタグを使用するJetPackバージョンに合わせて変更してください。 `jetson-6.2.0`, `jetson-6.0.0`, `jetson-5.1.1`, `jetson-4.6.1`、または `jetson-4.5.0`.

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-jetson-6.2.0:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    runtime: nvidia

    # 必要に応じて、以下の行のコメントを解除してTensorRTを有効にします。
    # environment:
    #   ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% hint style="info" %}
Roboflow Enterpriseプランには、 [Kubernetesデプロイ用のHelmチャート](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) 、OTネットワーク向けのネットワークソリューション、カスタマイズされたサポートとインストールパッケージ、 [設定済みのJetsonベースのエッジデバイスが含まれます。](https://roboflow.com/hardware). [営業チームにお問い合わせ](https://roboflow.com/sales) いただくと、詳細をご確認いただけます。
{% endhint %}

## 次のステップ

* [モデルを実行](https://docs.roboflow.com/deployment/ja/self-hosted/self-hosted.md#run-model-locally) して、新しいサーバーで推論を行います。
* [Deployment Manager](https://docs.roboflow.com/deployment/ja/self-hosted/enterprise/deployment-manager.md) （Enterprise）を使用して、複数のJetsonデバイスをリモートで管理します。
* [セルフホスト型サーバーを保護](https://docs.roboflow.com/deployment/ja/self-hosted/inference-server/configuration/security.md) してから、localhost以外に公開してください。
