> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ja/self-hosted/inference-server/install/jetson.md).

# NVIDIA Jetson にインストール

JetPack 固有のコンテナ、TensorRT アクセラレーション、Docker Compose を使って NVIDIA Jetson デバイスに Roboflow Inference Server をインストールします。

## 概要

Jetson は、エッジで AI や深層学習のワークロードを実行するために設計された、NVIDIA の小型で省電力なモジュール群です。GPU、CPU、ニューラルアクセラレータを 1 枚のボードに統合しており、クラウド接続なしでリアルタイムのコンピュータビジョンを必要とするロボティクス、ドローン、スマートカメラ、その他の組み込みアプリケーションに適しています。詳細は、を参照してください。 [NVIDIA の Jetson 概要](https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/).

## 前提条件

* **ディスク容量:** Roboflow Jetson イメージ（8.14 GB）用に、少なくとも 10 GB の空き容量を確保してください。
* **JetPack のバージョン:** サポートされている JetPack（5.x または 6.x）。
* **推奨ハードウェア:** 最高のパフォーマンスを得るには、NVIDIA Orin NX 16 GB 以上。
* **Docker と NVIDIA Container Toolkit:** コンテナが GPU にアクセスするには、Docker エンジンに加えて NVIDIA ランタイムが必要です。次の手順に従ってください。 [Docker インストールガイド](https://docs.docker.com/engine/install/ubuntu/) および [NVIDIA Container Toolkit ガイド](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html).

Roboflow は、JetPack L4T 向けのハードウェアアクセラレーション対応で構築された専用コンテナを公開しています。JetPack のバージョンを自動検出し、適切なデフォルト設定で正しいコンテナを起動するには、次を実行してください:

```bash
pip install inference-cli
inference server start
```

{% hint style="warning" %}
**サーバーはネットワーク全体からアクセス可能です。** 他のターゲットは `127.0.0.1`上で公開されていますが、Jetson イメージは `0.0.0.0` 上で公開されているため、別のマシンからデバイスを操作でき、また手動の `docker run` このページの例では同様にポート 9001 を公開します。つまり、Jetson にルーティングできるものは何でもサーバーを使用できます。デフォルトでは認証がなく、Workflows の Custom Python ブロックを実行します。これはデバイス上でのリモートコード実行です。ローカル専用アクセスには `inference server start --bind-address 127.0.0.1` を使用するか、 [サーバー認証とネットワーク制限](/deployment/ja/self-hosted/inference-server/configuration/security.md) を外部クライアントに公開する前に設定してください。
{% endhint %}

## コンテナを手動で起動する

コンテナ設定をより細かく制御したい場合は、自分で起動してください。NVIDIA JetPack 搭載の Jetson デバイスは、NVIDIA コンテナランタイムが事前設定されており、最初からハードウェアアクセラレーションが有効です。

{% tabs %}
{% tab title="JetPack 6.2" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.2.0:latest
```

{% endtab %}

{% tab title="JetPack 6.0" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.0.0:latest
```

{% endtab %}

{% tab title="JetPack 5" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-5.1.1:latest
```

{% endtab %}

{% tab title="JetPack 4（非推奨）" %}
{% hint style="warning" %}
JetPack 4 は非推奨であり、今後の更新は提供されません。JetPack 6 への移行をお願いします。
{% endhint %}

JetPack 4 イメージタグを使って、JetPack 5 と同じコマンドを使用してください: `roboflow/roboflow-inference-server-jetson-4.6.1:latest` JetPack 4.6 用、または `roboflow/roboflow-inference-server-jetson-4.5.0:latest` JetPack 4.5 用。
{% endtab %}
{% endtabs %}

## TensorRT

オプションで [TensorRT](https://developer.nvidia.com/tensorrt)を有効にできます。これは NVIDIA のモデル最適化ランタイムです。各モデルを初めて読み込む際に重いコンパイルと最適化のステップ（場合によっては 15 分以上）が発生しますが、その代わりモデルの速度が大幅に向上します。

次を追加して TensorRT を有効にします。 `TensorrtExecutionProvider` を `ONNXRUNTIME_EXECUTION_PROVIDERS` 環境変数に、上記のいずれかのコマンドへ追加します:

```bash
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]" \\
```

永続的なキャッシュボリュームをマウントする（上記のコマンドのように）と、コンパイル済みの TensorRT エンジンが再起動間で保持されるため、各モデルについてコンパイルのコストを支払うのは 1 回だけで済みます。

## Docker Compose

アプリケーションで Docker Compose を使用する場合、同等の YAML は以下のとおりです。JetPack のバージョンに合わせてイメージタグを置き換えてください: `jetson-6.2.0`, `jetson-6.0.0`, `jetson-5.1.1`, `jetson-4.6.1`、または `jetson-4.5.0`.

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-jetson-6.2.0:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    runtime: nvidia

    # オプション: TensorRT を有効にするには、次の行のコメントを外します:
    # environment:
    #   ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% hint style="info" %}
Roboflow Enterprise プランには [Kubernetes デプロイメント用の Helm チャート](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) 、OT ネットワーク向けのネットワーキングソリューション、カスタマイズされたサポートとインストールパッケージ、そして [事前構成済みの Jetson ベースのエッジデバイス](https://roboflow.com/hardware). [営業チームにお問い合わせください](https://roboflow.com/sales) 詳細をご確認ください。
{% endhint %}

## 次の手順

* [モデルを実行する](/deployment/ja/self-hosted/self-hosted.md#run-model-locally) 新しいサーバーに対して。
* [Deployment Manager](/deployment/ja/self-hosted/enterprise/deployment-manager.md) （Enterprise）を使用して、Jetson デバイス群をリモートで管理します。
* [セルフホストサーバーの保護](/deployment/ja/self-hosted/inference-server/configuration/security.md) localhost の外に公開する前に。