> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/reference/hi/inference/inference-cli/benchmark.md).

# Benchmark Inference

inference benchmark के साथ Inference Server या inference Python package का throughput और latency मापें।

`इन्फरेंस बेंचमार्क` आपके सेटअप में इन्फरेंस के प्रदर्शन की जांच करने का एक आसान तरीका प्रदान करता है। यह कमांड Inference Server और `इन्फरेंस` पायथन पैकेज।

{% hint style="success" %}
कमांड का विवरण देखने के लिए, यह चलाएँ:

```bash
inference benchmark --help
```

प्रत्येक उप-कमांड के लिए एक सहायता गाइड भी उपलब्ध है:

```bash
inference benchmark api-speed --help
```

{% endhint %}

## का बेंचमार्क करना `इन्फरेंस` पायथन पैकेज

{% hint style="warning" %}
इस कमांड को चलाने के लिए `इन्फरेंस` पैकेज का इंस्टॉल होना आवश्यक है।

```bash
pip install inference
```

{% endhint %}

निम्नलिखित कमांड का उपयोग करके एक बुनियादी बेंचमार्क चलाया जा सकता है:

```bash
inference benchmark python-package-speed \
  -m {your_model_id} \
  -d {pre-configured dataset name or path to directory with images} \
  -o {output_directory}
```

यह कमांड दिए गए मॉडल का उपयोग करके निर्दिष्ट संख्या में इन्फरेंसेज़ चलाता है और आँकड़े (जिनमें बेंचमार्क पैरामीटर, थ्रूपुट, लेटेंसी, त्रुटियाँ और प्लेटफ़ॉर्म विवरण शामिल हैं) दी गई डायरेक्टरी में सहेजता है।

## inference-models का बेंचमार्क करना

`inference benchmark inference-models-speed` अलग से इंस्टॉल किए गए `inference-models` बैकएंड का बेंचमार्क करता है। लंबित runtime-hardening बिल्ड डिफ़ॉल्ट रूप से अविश्वसनीय पैकेजों को अस्वीकार करता है; केवल तब `--allow-untrusted-packages` पारित करें जब आप उनके कोड पर जानबूझकर भरोसा करते हों।

चलाएँ `inference benchmark inference-models-speed --help` मॉडल और डेटासेट विकल्पों के लिए। देखें [मॉडल पैकेज सुरक्षा](https://docs.roboflow.com/deployment/self-hosted/inference-server/configuration/model-security#cli-benchmarks) संस्करण सीमा और अलग सर्वर पैकेज सेटिंग्स के लिए।

## Inference Server का बेंचमार्क करना

{% hint style="info" %}
अपने स्थानीय Inference Server का API बेंचमार्क चलाने से पहले, सुनिश्चित करें कि सर्वर चालू और चल रहा है:

```bash
inference server start
```

{% endhint %}

निम्नलिखित कमांड का उपयोग करके एक बुनियादी बेंचमार्क चलाया जा सकता है:

```bash
inference benchmark api-speed \
  -m {your_model_id} \
  -d {pre-configured dataset name or path to directory with images} \
  -o {output_directory}
```

यह कमांड दिए गए मॉडल का उपयोग करके निर्दिष्ट संख्या में इन्फरेंसेज़ चलाता है और आँकड़े (जिनमें बेंचमार्क पैरामीटर, थ्रूपुट, लेटेंसी, त्रुटियाँ और प्लेटफ़ॉर्म विवरण शामिल हैं) दी गई डायरेक्टरी में सहेजता है।

इस बेंचमार्क में HTTP API प्रोफाइलिंग के अलग-अलग तरीकों का समर्थन करने के लिए अधिक कॉन्फ़िगरेशन विकल्प हैं। डिफ़ॉल्ट मोड में, एक एकल क्लाइंट शुरू किया जाता है और वह एक के बाद एक क्रमिक रूप से अनुरोध भेजता है। कुछ मामलों में यह सर्वोत्तम नहीं हो सकता, इसलिए आप `-c {number_of_clients}` विकल्प का उपयोग करके समवर्ती क्लाइंट्स की संख्या निर्दिष्ट कर सकते हैं। प्रत्येक क्लाइंट पिछला अनुरोध संभाले जाने के बाद अगला अनुरोध भेजता है।

यह विकल्प अभी भी सभी परीक्षण परिदृश्यों को कवर नहीं करता। उदाहरण के लिए, आप `x` अनुरोध प्रति सेकंड भेजना चाह सकते हैं, जो उस प्रोडक्शन वातावरण के अधिक करीब है जहाँ कई क्लाइंट एक साथ अनुरोध भेजते हैं। इस परिदृश्य में, `--rps {value}` विकल्प का उपयोग किया जा सकता है (और `-c` को अनदेखा किया जाता है)। में दिया गया मान `--rps` यह निर्दिष्ट करता है कि कितने अनुरोध शुरू किए जाते हैं **हर सेकंड** पिछले अनुरोधों के संभाले जाने की प्रतीक्षा किए बिना। I/O-गहन बेंचमार्क परिदृश्यों में, हम सलाह देते हैं कि कमांड को कई अलग-अलग प्रक्रियाओं और संभवतः कई होस्ट्स से चलाएँ।

देखें [इन्फरेंस बेंचमार्क्स](https://docs.roboflow.com/reference/hi/inference/inference-python/benchmarks.md) इस कमांड से मापे गए प्रकाशित परिणामों के लिए।
