> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/reference/hi/inference/inference-python/benchmarks.md).

# इन्फरेंस बेंचमार्क्स

यह पृष्ठ विभिन्न हार्डवेयर प्लेटफ़ॉर्म पर Inference के साथ चलने वाले विभिन्न मॉडलों के प्रदर्शन बेंचमार्क शामिल करता है।

## NVIDIA L4 GPU

### वस्तु पहचान

वस्तु पहचान मॉडलों के लिए प्रदर्शन बेंचमार्क, मानक ONNX रनटाइम की तुलना TensorRT-अनुकूलित एडाप्टरों से करते हुए:

| मॉडल प्रकार    | आकार    | अनुमान/सेकंड (ONNX) | अनुमान/सेकंड (TRT) | सुधार गुणक |
| -------------- | ------- | ------------------- | ------------------ | ---------- |
| rfdetr-nano    | 384x384 | 103.5               | 299.5              | 2.9        |
| rfdetr-small   | 512x512 | 57.4                | 253.4              | 4.4        |
| rfdetr-medium  | 576x576 | 62.8                | 201.8              | 3.2        |
| rfdetr-large   | 704x704 | 36.9                | 160.5              | 4.3        |
| rfdetr-xlarge  | 700x700 | 18.1                | 96.1               | 5.3        |
| rfdetr-2xlarge | 880x880 | 17.4                | 74.1               | 4.3        |

### सेगमेंटेशन

इंस्टेंस सेगमेंटेशन मॉडलों के लिए प्रदर्शन बेंचमार्क:

| मॉडल प्रकार        | आकार    | अनुमान/सेकंड (ONNX) | अनुमान/सेकंड (TRT) | सुधार गुणक |
| ------------------ | ------- | ------------------- | ------------------ | ---------- |
| rfdetr-seg-nano    | 312x312 | 51.9                | 105.3              | 2.0        |
| rfdetr-seg-small   | 384x384 | 57.5                | 126.7              | 2.2        |
| rfdetr-seg-medium  | 432x432 | 39.7                | 99.7               | 2.5        |
| rfdetr-seg-large   | 504x504 | 32.8                | 93.2               | 2.8        |
| rfdetr-seg-xlarge  | 624x624 | 17                  | 68.8               | 4.0        |
| rfdetr-seg-2xlarge | 768x768 | 10.7                | 59                 | 5.5        |

### वर्गीकरण

वर्गीकरण मॉडलों के लिए प्रदर्शन बेंचमार्क:

| मॉडल प्रकार | आकार    | अनुमान/सेकंड (ONNX) | अनुमान/सेकंड (TRT) | सुधार गुणक |
| ----------- | ------- | ------------------- | ------------------ | ---------- |
| ResNet50    | 224x224 | 358.6               | 600.8              | 1.7        |
| ViT         | 224x224 | 238                 | 306.5              | 1.3        |

## Jetson Orin NX

### वस्तु पहचान

Jetson Orin NX पर वस्तु पहचान मॉडलों के लिए प्रदर्शन बेंचमार्क:

| मॉडल प्रकार   | आकार    | अनुमान/सेकंड (ONNX) | अनुमान/सेकंड (TRT) | सुधार गुणक |
| ------------- | ------- | ------------------- | ------------------ | ---------- |
| rfdetr-nano   | 384x384 | 21.2                | 78.5               | 3.7        |
| rfdetr-small  | 512x512 | 13.9                | 52.5               | 3.8        |
| rfdetr-medium | 576x576 | 11                  | 44                 | 4.0        |
| yolov8n-640   | 640x640 | 35.6                | 89                 | 2.5        |
| yolov8s-640   | 640x640 | 26.3                | 69.5               | 2.6        |
| yolov8m-640   | 640x640 | 13.5                | 44.5               | 3.3        |
| yolov8l-640   | 640x640 | 9                   | 32.5               | 3.6        |
| yolov8x-640   | 640x640 | 6.4                 | 22                 | 3.4        |

## बेंचमार्क कार्यप्रणाली

सभी बेंचमार्क का संचालन इस के साथ किया गया था [Inference CLI](/reference/hi/inference/inference-cli/benchmark.md)के साथ, एकल छवि (बैच आकार 1, `-bs 1`) के साथ 500 पुनरावृत्तियों (`-bi 500`).

* **अनुमान/सेकंड (ONNX)** - मानक ONNX रनटाइम, इसके साथ मापा गया:

  ```bash
  अनुमान बेंचमार्क python-package-speed -m [model]
  ```
* **अनुमान/सेकंड (TRT)** - TensorRT-अनुकूलित एडाप्टर (में समर्थित `इन्फरेंस` 1.0 और बाद के संस्करणों में), इसके साथ मापा गया:

  ```bash
  USE_INFERENCE_MODELS=TRUE inference benchmark python-package-speed -m [model]
  ```