> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/reference/hi/inference/inference-python/benchmarks.md).

# Inference बेंचमार्क

NVIDIA L4 और Jetson Orin NX पर RF-DETR, YOLOv8, ResNet, और ViT मॉडलों के लिए मापी गई throughput, ONNX और TensorRT की तुलना करते हुए।

यह पृष्ठ विभिन्न हार्डवेयर प्लेटफ़ॉर्म पर Inference के साथ चलने वाले विभिन्न मॉडलों के प्रदर्शन बेंचमार्क शामिल करता है।

## NVIDIA L4 GPU

### वस्तु पहचान

वस्तु पहचान मॉडलों के लिए प्रदर्शन बेंचमार्क, मानक ONNX रनटाइम की तुलना TensorRT-अनुकूलित एडाप्टरों से करते हुए:

| मॉडल प्रकार    | आकार    | अनुमान/सेकंड (ONNX) | अनुमान/सेकंड (TRT) | सुधार गुणक |
| -------------- | ------- | ------------------- | ------------------ | ---------- |
| rfdetr-nano    | 384x384 | 103.5               | 299.5              | 2.9        |
| rfdetr-small   | 512x512 | 57.4                | 253.4              | 4.4        |
| rfdetr-medium  | 576x576 | 62.8                | 201.8              | 3.2        |
| rfdetr-large   | 704x704 | 36.9                | 160.5              | 4.3        |
| rfdetr-xlarge  | 700x700 | 18.1                | 96.1               | 5.3        |
| rfdetr-2xlarge | 880x880 | 17.4                | 74.1               | 4.3        |

### सेगमेंटेशन

इंस्टेंस सेगमेंटेशन मॉडलों के लिए प्रदर्शन बेंचमार्क:

| मॉडल प्रकार        | आकार    | अनुमान/सेकंड (ONNX) | अनुमान/सेकंड (TRT) | सुधार गुणक |
| ------------------ | ------- | ------------------- | ------------------ | ---------- |
| rfdetr-seg-nano    | 312x312 | 51.9                | 105.3              | 2.0        |
| rfdetr-seg-small   | 384x384 | 57.5                | 126.7              | 2.2        |
| rfdetr-seg-medium  | 432x432 | 39.7                | 99.7               | 2.5        |
| rfdetr-seg-large   | 504x504 | 32.8                | 93.2               | 2.8        |
| rfdetr-seg-xlarge  | 624x624 | 17                  | 68.8               | 4.0        |
| rfdetr-seg-2xlarge | 768x768 | 10.7                | 59                 | 5.5        |

### वर्गीकरण

वर्गीकरण मॉडलों के लिए प्रदर्शन बेंचमार्क:

| मॉडल प्रकार | आकार    | अनुमान/सेकंड (ONNX) | अनुमान/सेकंड (TRT) | सुधार गुणक |
| ----------- | ------- | ------------------- | ------------------ | ---------- |
| ResNet50    | 224x224 | 358.6               | 600.8              | 1.7        |
| ViT         | 224x224 | 238                 | 306.5              | 1.3        |

## Jetson Orin NX

### वस्तु पहचान

Jetson Orin NX पर वस्तु पहचान मॉडलों के लिए प्रदर्शन बेंचमार्क:

| मॉडल प्रकार   | आकार    | अनुमान/सेकंड (ONNX) | अनुमान/सेकंड (TRT) | सुधार गुणक |
| ------------- | ------- | ------------------- | ------------------ | ---------- |
| rfdetr-nano   | 384x384 | 21.2                | 78.5               | 3.7        |
| rfdetr-small  | 512x512 | 13.9                | 52.5               | 3.8        |
| rfdetr-medium | 576x576 | 11                  | 44                 | 4.0        |
| yolov8n-640   | 640x640 | 35.6                | 89                 | 2.5        |
| yolov8s-640   | 640x640 | 26.3                | 69.5               | 2.6        |
| yolov8m-640   | 640x640 | 13.5                | 44.5               | 3.3        |
| yolov8l-640   | 640x640 | 9                   | 32.5               | 3.6        |
| yolov8x-640   | 640x640 | 6.4                 | 22                 | 3.4        |

## बेंचमार्क कार्यप्रणाली

सभी बेंचमार्क का संचालन इस के साथ किया गया था [Inference CLI](/reference/hi/inference/inference-cli/benchmark.md)के साथ, एकल छवि (बैच आकार 1, `-bs 1`) के साथ 500 पुनरावृत्तियों (`-bi 500`).

* **अनुमान/सेकंड (ONNX)** - मानक ONNX रनटाइम, इसके साथ मापा गया:

  ```bash
  अनुमान बेंचमार्क python-package-speed -m [model]
  ```
* **अनुमान/सेकंड (TRT)** - TensorRT-अनुकूलित एडाप्टर (में समर्थित `इन्फरेंस` 1.0 और बाद के संस्करणों में), इसके साथ मापा गया:

  ```bash
  USE_INFERENCE_MODELS=TRUE inference benchmark python-package-speed -m [model]
  ```