> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ja/serufuhosuto/inference-server/install/jetson.md).

# NVIDIA Jetson にインストール

## 概要

Jetson は、エッジで AI とディープラーニングのワークロードを実行するために設計された、コンパクトで省電力なモジュール群です。GPU、CPU、ニューラルアクセラレータを 1 枚のボードに統合しているため、クラウド接続なしでリアルタイムのコンピュータビジョンを必要とするロボティクス、ドローン、スマートカメラ、その他の組み込みアプリケーションに適しています。詳細については、次を参照してください。 [NVIDIA の Jetson 概要](https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/).

## 前提条件

* **ディスク容量:** Roboflow Jetson イメージ（8.14 GB）用に、少なくとも 10 GB の空き容量を確保してください。
* **JetPack バージョン:** サポートされている JetPack（5.x または 6.x）。
* **推奨ハードウェア:** 最良のパフォーマンスを得るには、NVIDIA Orin NX 16 GB 以上。
* **Docker と NVIDIA Container Toolkit:** GPU にアクセスするには、コンテナに Docker エンジンと NVIDIA runtime が必要です。次の [Docker インストールガイド](https://docs.docker.com/engine/install/ubuntu/) と [NVIDIA Container Toolkit ガイド](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html).

Roboflow は、JetPack L4T 向けのハードウェアアクセラレーション対応で構築された専用コンテナを公開しています。JetPack のバージョンを自動検出し、適切なデフォルト設定で正しいコンテナを起動するには、次を実行してください:

```bash
pip install inference-cli
inference server start
```

## コンテナを手動で起動する

コンテナ設定をより細かく制御したい場合は、自分で起動してください。NVIDIA JetPack 搭載の Jetson デバイスには NVIDIA コンテナ runtime が事前設定されており、すぐにハードウェアアクセラレーションを利用できます。

{% tabs %}
{% tab title="JetPack 6.2" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.2.0:latest
```

{% endtab %}

{% tab title="JetPack 6.0" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-6.0.0:latest
```

{% endtab %}

{% tab title="JetPack 5" %}

```bash
sudo docker run -d \\
    --name inference-server \\
    --runtime nvidia \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-jetson-5.1.1:latest
```

{% endtab %}

{% tab title="JetPack 4（非推奨）" %}
{% hint style="warning" %}
JetPack 4 は非推奨であり、今後のアップデートは提供されません。JetPack 6 へ移行してください。
{% endhint %}

JetPack 4 のイメージタグを使って、JetPack 5 と同じコマンドを使用します: `roboflow/roboflow-inference-server-jetson-4.6.1:latest` JetPack 4.6 向け、または `roboflow/roboflow-inference-server-jetson-4.5.0:latest` JetPack 4.5 向け。
{% endtab %}
{% endtabs %}

## TensorRT

オプションで [TensorRT](https://developer.nvidia.com/tensorrt)、NVIDIA のモデル最適化ランタイムを有効にできます。各モデルを初めて読み込む際に重いコンパイルと最適化の工程（場合によっては 15 分以上）が発生する代わりに、モデルの速度を大幅に向上させます。

次を追加して TensorRT を有効にします `TensorrtExecutionProvider` を `ONNXRUNTIME_EXECUTION_PROVIDERS` 環境変数に、上記のいずれかのコマンドで追加します:

```bash
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]" \\
```

（上記のコマンドのように）永続キャッシュボリュームをマウントすると、再起動の間もコンパイル済みの TensorRT エンジンが保持されるため、各モデルごとにコンパイルコストを支払うのは 1 回だけで済みます。

## Docker Compose

アプリケーションで Docker Compose を使っている場合、同等の YAML は以下のとおりです。イメージタグを JetPack のバージョンに合わせて置き換えてください: `jetson-6.2.0`, `jetson-6.0.0`, `jetson-5.1.1`, `jetson-4.6.1`、または `jetson-4.5.0`.

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-jetson-6.2.0:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    runtime: nvidia

    # 必要に応じて: TensorRT を有効にするには次の行のコメントを外してください:
    # environment:
    #   ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% hint style="info" %}
Roboflow Enterprise プランでは次が追加されます [Helm チャート](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) Kubernetes デプロイ向け、OT ネットワーク向けのネットワークソリューション、カスタマイズされたサポートとインストールパッケージ、そして [事前設定済みの Jetson ベースのエッジデバイス](https://roboflow.com/hardware). [営業チームにお問い合わせください](https://roboflow.com/sales) 詳細はこちら。
{% endhint %}

## 次の手順

* [モデルを実行する](/deployment/ja/serufuhosuto/self-hosted.md#run-a-model) 新しいサーバーに対して。
* [デプロイメント マネージャー](/deployment/ja/serufuhosuto/enterprise/deployment-manager.md) （Enterprise）で Jetson デバイス群をリモート管理します。
* [セルフホスト型サーバーのセキュリティ保護](/deployment/ja/serufuhosuto/inference-server/configuration/security.md) localhost の外部に公開する前に。