> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/reference/ja/tui-lun/inference-python/benchmarks.md).

# Inference Benchmarks

このページには、さまざまなハードウェアプラットフォーム上で推論を実行する各種モデルのパフォーマンスベンチマークが含まれています。

## NVIDIA L4 GPU

### 物体検出

物体検出モデルのパフォーマンスベンチマーク。標準の ONNX ランタイムと TensorRT 最適化アダプタを比較します:

| モデル種別          | サイズ     | 推論/秒（ONNX） | 推論/秒（TRT） | 改善倍率 |
| -------------- | ------- | ---------- | --------- | ---- |
| rfdetr-nano    | 384x384 | 103.5      | 299.5     | 2.9  |
| rfdetr-small   | 512x512 | 57.4       | 253.4     | 4.4  |
| rfdetr-medium  | 576x576 | 62.8       | 201.8     | 3.2  |
| rfdetr-large   | 704x704 | 36.9       | 160.5     | 4.3  |
| rfdetr-xlarge  | 700x700 | 18.1       | 96.1      | 5.3  |
| rfdetr-2xlarge | 880x880 | 17.4       | 74.1      | 4.3  |

### セグメンテーション

インスタンスセグメンテーションモデルのパフォーマンスベンチマーク:

| モデル種別              | サイズ     | 推論/秒（ONNX） | 推論/秒（TRT） | 改善倍率 |
| ------------------ | ------- | ---------- | --------- | ---- |
| rfdetr-seg-nano    | 312x312 | 51.9       | 105.3     | 2.0  |
| rfdetr-seg-small   | 384x384 | 57.5       | 126.7     | 2.2  |
| rfdetr-seg-medium  | 432x432 | 39.7       | 99.7      | 2.5  |
| rfdetr-seg-large   | 504x504 | 32.8       | 93.2      | 2.8  |
| rfdetr-seg-xlarge  | 624x624 | 17         | 68.8      | 4.0  |
| rfdetr-seg-2xlarge | 768x768 | 10.7       | 59        | 5.5  |

### 分類

分類モデルのパフォーマンスベンチマーク:

| モデル種別    | サイズ     | 推論/秒（ONNX） | 推論/秒（TRT） | 改善倍率 |
| -------- | ------- | ---------- | --------- | ---- |
| ResNet50 | 224x224 | 358.6      | 600.8     | 1.7  |
| ViT      | 224x224 | 238        | 306.5     | 1.3  |

## Jetson Orin NX

### 物体検出

Jetson Orin NX 上の物体検出モデルのパフォーマンスベンチマーク:

| モデル種別         | サイズ     | 推論/秒（ONNX） | 推論/秒（TRT） | 改善倍率 |
| ------------- | ------- | ---------- | --------- | ---- |
| rfdetr-nano   | 384x384 | 21.2       | 78.5      | 3.7  |
| rfdetr-small  | 512x512 | 13.9       | 52.5      | 3.8  |
| rfdetr-medium | 576x576 | 11         | 44        | 4.0  |
| yolov8n-640   | 640x640 | 35.6       | 89        | 2.5  |
| yolov8s-640   | 640x640 | 26.3       | 69.5      | 2.6  |
| yolov8m-640   | 640x640 | 13.5       | 44.5      | 3.3  |
| yolov8l-640   | 640x640 | 9          | 32.5      | 3.6  |
| yolov8x-640   | 640x640 | 6.4        | 22        | 3.4  |

## ベンチマーク手法

すべてのベンチマークは、 [Inference CLI](/reference/ja/tui-lun/inference-cli/benchmark.md)、単一画像（バッチサイズ 1、 `-bs 1`）を 500 イテレーション（`-bi 500`).

* **推論/秒（ONNX）** - 標準 ONNX ランタイム、以下で測定:

  ```bash
  inference benchmark python-package-speed -m [model]
  ```
* **推論/秒（TRT）** - TensorRT 最適化アダプタ（対応されているのは `推論` 1.0 以降）、以下で測定:

  ```bash
  USE_INFERENCE_MODELS=TRUE inference benchmark python-package-speed -m [model]
  ```