Inference बेंचमार्क

NVIDIA L4 और Jetson Orin NX पर RF-DETR, YOLOv8, ResNet, और ViT मॉडलों के लिए मापी गई throughput, ONNX और TensorRT की तुलना के साथ।

यह पृष्ठ विभिन्न हार्डवेयर प्लेटफ़ॉर्म पर Inference के साथ चलने वाले विभिन्न मॉडलों के प्रदर्शन बेंचमार्क शामिल करता है।

NVIDIA L4 GPU

वस्तु पहचान

वस्तु पहचान मॉडलों के लिए प्रदर्शन बेंचमार्क, मानक ONNX रनटाइम की तुलना TensorRT-अनुकूलित एडाप्टरों से करते हुए:

मॉडल प्रकार	आकार	अनुमान/सेकंड (ONNX)	अनुमान/सेकंड (TRT)	सुधार गुणक
rfdetr-nano	384x384	103.5	299.5	2.9
rfdetr-small	512x512	57.4	253.4	4.4
rfdetr-medium	576x576	62.8	201.8	3.2
rfdetr-large	704x704	36.9	160.5	4.3
rfdetr-xlarge	700x700	18.1	96.1	5.3
rfdetr-2xlarge	880x880	17.4	74.1	4.3

सेगमेंटेशन

इंस्टेंस सेगमेंटेशन मॉडलों के लिए प्रदर्शन बेंचमार्क:

मॉडल प्रकार	आकार	अनुमान/सेकंड (ONNX)	अनुमान/सेकंड (TRT)	सुधार गुणक
rfdetr-seg-nano	312x312	51.9	105.3	2.0
rfdetr-seg-small	384x384	57.5	126.7	2.2
rfdetr-seg-medium	432x432	39.7	99.7	2.5
rfdetr-seg-large	504x504	32.8	93.2	2.8
rfdetr-seg-xlarge	624x624	17	68.8	4.0
rfdetr-seg-2xlarge	768x768	10.7	59	5.5

वर्गीकरण

वर्गीकरण मॉडलों के लिए प्रदर्शन बेंचमार्क:

मॉडल प्रकार	आकार	अनुमान/सेकंड (ONNX)	अनुमान/सेकंड (TRT)	सुधार गुणक
ResNet50	224x224	358.6	600.8	1.7
ViT	224x224	238	306.5	1.3

Jetson Orin NX

वस्तु पहचान

Jetson Orin NX पर वस्तु पहचान मॉडलों के लिए प्रदर्शन बेंचमार्क:

मॉडल प्रकार	आकार	अनुमान/सेकंड (ONNX)	अनुमान/सेकंड (TRT)	सुधार गुणक
rfdetr-nano	384x384	21.2	78.5	3.7
rfdetr-small	512x512	13.9	52.5	3.8
rfdetr-medium	576x576	11	44	4.0
yolov8n-640	640x640	35.6	89	2.5
yolov8s-640	640x640	26.3	69.5	2.6
yolov8m-640	640x640	13.5	44.5	3.3
yolov8l-640	640x640	9	32.5	3.6
yolov8x-640	640x640	6.4	22	3.4

बेंचमार्क कार्यप्रणाली

सभी बेंचमार्क का संचालन इस के साथ किया गया था Inference CLIके साथ, एकल छवि (बैच आकार 1, -bs 1) के साथ 500 पुनरावृत्तियों (-bi 500).

• अनुमान/सेकंड (ONNX) - मानक ONNX रनटाइम, इसके साथ मापा गया:

  अनुमान बेंचमार्क python-package-speed -m [model]

• अनुमान/सेकंड (TRT) - TensorRT-अनुकूलित एडाप्टर (में समर्थित इन्फरेंस 1.0 और बाद के संस्करणों में), इसके साथ मापा गया:

  USE_INFERENCE_MODELS=TRUE inference benchmark python-package-speed -m [model]