> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/reference/ja/inference/inference-cli/benchmark.md).

# Inference をベンチマークする

inference benchmark を使って、Inference Server または inference Python パッケージのスループットとレイテンシを測定します。

`inference benchmark` セットアップ内での Inference のパフォーマンスを簡単に確認する方法を提供します。このコマンドは Inference Server と `inference` Python パッケージ。

{% hint style="success" %}
コマンドの詳細を見るには、次を実行してください:

```bash
inference benchmark --help
```

各サブコマンドのヘルプガイドも利用できます:

```bash
inference benchmark api-speed --help
```

{% endhint %}

## のベンチマーク `inference` Python パッケージ

{% hint style="warning" %}
このコマンドの実行には、 `inference` パッケージがインストールされている必要があります。

```bash
pip install inference
```

{% endhint %}

基本的なベンチマークは次のコマンドで実行できます:

```bash
inference benchmark python-package-speed \
  -m {your_model_id} \
  -d {事前設定済みのデータセット名または画像のあるディレクトリへのパス} \
  -o {出力ディレクトリ}
```

このコマンドは、指定したモデルを使用して所定回数の推論を実行し、統計情報（ベンチマークのパラメータ、スループット、レイテンシ、エラー、プラットフォームの詳細を含む）を指定したディレクトリに保存します。

## inference-models のベンチマーク

`inference benchmark inference-models-speed` 個別にインストールされた `inference-models` バックエンドをベンチマークします。保留中の runtime-hardening ビルドでは、信頼されていないパッケージは拒否する設定が既定になっています。 `--allow-untrusted-packages` は、そのコードを意図的に信頼する場合にのみ指定してください。

実行してください `inference benchmark inference-models-speed --help` を使ってモデルとデータセットのオプションを確認してください。参照: [Model Package Security](https://docs.roboflow.com/deployment/self-hosted/inference-server/configuration/model-security#cli-benchmarks) バージョンの適用範囲と、別個のサーバーパッケージ設定について。

## Inference Server のベンチマーク

{% hint style="info" %}
ローカルの Inference Server の API ベンチマークを実行する前に、サーバーが起動していることを確認してください:

```bash
inference server start
```

{% endhint %}

基本的なベンチマークは次のコマンドで実行できます:

```bash
inference benchmark api-speed \
  -m {your_model_id} \
  -d {事前設定済みのデータセット名または画像のあるディレクトリへのパス} \
  -o {出力ディレクトリ}
```

このコマンドは、指定したモデルを使用して所定回数の推論を実行し、統計情報（ベンチマークのパラメータ、スループット、レイテンシ、エラー、プラットフォームの詳細を含む）を指定したディレクトリに保存します。

このベンチマークには、HTTP API のさまざまなプロファイリング方法をサポートするための、より多くの設定オプションがあります。デフォルトモードでは、1 つのクライアントが起動され、1 件ずつ順番にリクエストを送信します。これは特定のケースでは最適でない場合があるため、 `-c {number_of_clients}` オプションで同時クライアント数を指定できます。各クライアントは、前のリクエストが処理されると次のリクエストを送信します。

このオプションでも、まだすべてのテストシナリオをカバーできるわけではありません。たとえば、 `x` 件のリクエストを毎秒送信したい場合があります。これは、複数のクライアントが同時にリクエストを送る本番環境により近いものです。このシナリオでは、 `--rps {value}` オプションを使用できます（そして `-c` は無視されます）。 `--rps` で指定した値は、 **毎秒** 前のリクエストの処理を待たずに、何件のリクエストを生成するかを示します。I/O 集約型のベンチマークシナリオでは、複数の別プロセス、場合によっては複数のホストからコマンドを実行することを推奨します。

参照: [Inference Benchmarks](https://docs.roboflow.com/reference/ja/inference/inference-python/benchmarks.md) このコマンドで測定された公開結果について。
