> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/roboflow/roboflow-jp/depuroi/model-monitoring.md).

# Model Monitoring

Roboflow の Model Monitoring ダッシュボードを使うと、プロトタイピングから本番運用まで、モデルの状況を比類なく可視化できます。Model Monitoring では、全体的な統計を表示して、モデルが時間の経過とともにどのようにパフォーマンスしているかを把握したり、個々の推論リクエストを表示して、エッジケースでモデルがどのように動作するかを確認したりできます。

{% hint style="info" %}
Model Monitoring **は廃止される予定です** 、Vision Events に置き換えられます。以下を参照してください [Vision Events のドキュメント](/roboflow/roboflow-jp/depuroi/vision-events.md) を参照してください。
{% endhint %}

## Model Monitoring へのアクセス

Model Monitoring は Models ページ内のサブタブです。アクセスするには、workspace のナビゲーションバーで「Models」ドロップダウンを開いて「Model Monitoring」を選択するか、Models ページの「Model Monitoring」タブに直接移動してください。

## Workspace Dashboard

すぐに、モデルに関する 3 つの統計が表示されます:

* **総リクエスト数**: Workspace 内のすべてのモデルに対して行われた推論の総数
* **平均 confidence:** モデルによって行われたすべての予測にわたる平均 confidence。
* **平均推論時間**: すべての推論にわたる平均推論時間（画像の前処理を含め、予測の生成にかかった秒数）

<figure><img src="/files/79d016624b53dd53847ab13c39d4e04845c5863c" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
% の変化値は、現在の期間と前の期間の比較に基づいています。デフォルトでは、これらの統計は直近 1 週間のデータを表示します。ただし、上部のボタンを使って期間を変更できます。

<img src="/files/94cf26cb1c329632307e918416b5d3a46ec1fae2" alt="" data-size="original">
{% endhint %}

Models テーブルには、推論があるすべてのモデルが表示され、クリックすると [Model Dashboard](#model-dashboard).

<figure><img src="/files/b89db7f3464cb737b9be2e9143bd7deb69c25f32" alt=""><figcaption></figcaption></figure>

に移動します。さらに、Recent Inferences（すべてのモデルにわたる）や [Alerts の設定](#alerting).

<figure><img src="/files/ef008ea83172367d250e2603cfabada0f026924e" alt="" width="375"><figcaption></figcaption></figure>

## Model Dashboard

Models タブでは、特定のモデルを選択してそのデータを表示できます。そこでは、Workspace Overview と同じ統計が表示されますが、1 つのモデルに特化したものになります。

ここでは、統計に加えて、モデル内の各クラスの検出数を確認し、他のクラスに対する分布を見ることができます。

<figure><img src="/files/ad665dc5c6b427b9c0adcd3acbe3973c0f545182" alt=""><figcaption></figcaption></figure>

テーブル右上の「See All Inferences」ボタンをクリックすると、 [Inferences Table](#inferences-table).

## Inferences Table

ここでは、モデルのすべての予測結果を確認できます。さらに、inference に追加されたカスタムメタデータも表示されます。inference の一部だけを表示するには、テーブル右上のフィルターを使用できます。

<figure><img src="/files/6190a0726300e34597391d6abd8fd22b33912e12" alt=""><figcaption></figcaption></figure>

### Inference Details

Inferences Table から、特定の inference を掘り下げてより詳しい情報を確認できます。この画像に示されている順に見ていきましょう:

<figure><img src="/files/402080e4cb814db5c39bc3ee3456056dc6b66c8f" alt=""><figcaption></figcaption></figure>

1. **画像:** ここでは、推論された画像を確認できます。 *注: これはデフォルトでは有効になっていません。以下を参照してください* [*Inference Images の有効化*](#enabling-inference-images)
2. **Inference Details:** このパネルでは、推論リクエストに関するすべての詳細とプロパティを確認できます。利用可能なフィールドはすべてデフォルトで表示されますが、いくつかを非表示にしたい場合は、右上の「Cog」アイコンをクリックしてフィールドを非表示にできます。（この設定はブラウザに保存されます）
3. 一部のフィールドでは、利用可能な場合、そのフィールドに基づいて inference を検索するオプションがあります。強調表示された例では、同じモデルの inference を検索します。
4. **Detections:** この折りたたみ可能なペインには、その inference から受信した detections の一覧が表示されます。テーブルの並び順を選ぶには、「Class」と「Confidence」のテーブルヘッダーをクリックできます。
5. **Download & Link ボタン:** ここでは、inference に関連付けられた画像をダウンロードしたり、この Inference Details へのリンクをコピーして後で参照したりできます。

### Inference Images の有効化

{% hint style="info" %}
Active Learning または Dataset Upload によって保存された画像は、プロジェクトに画像をアップロードした場合と同じようにカウントされます。プラン種別によっては、クレジット、上限、またはクォータの使用が適用される場合があります。
{% endhint %}

Model Monitoring に inference images を表示させる方法は 2 つあります:

* **Roboflow Dataset Upload ブロック:** Workflows では、「Roboflow Dataset Upload」ブロックを追加できます。予測と prediction image を接続すると、Model Monitoring に表示されます。

<figure><img src="/files/f783afe7763c11fce38def827b07d57198b8c2cb" alt="" width="151"><figcaption></figcaption></figure>

* **Active Learning:** 設定できます [Active Learning](/roboflow/roboflow-jp/depuroi/active-learning.md) Project のルールを使って、本番推論画像を自動収集するように。

<figure><img src="/files/0a078b9d281f86be4413085e0a4d86d7dbd03781" alt="" width="198"><figcaption></figcaption></figure>

## Alerting

あなたとチームの他のメンバーは、モデルで問題や異常が発生したときにリアルタイムのアラートを購読できます。たとえば、モデルの confidence が突然低下したり、Inference Server が停止してモデルが動作しなくなった場合、チームにメール通知が送信されます。

Alerting ページで詳細情報を確認してください:

{% content-ref url="/pages/5288ab5ad0aab689e0d6a024d8579a3c2e4b09eb" %}
[Alerting](/roboflow/roboflow-jp/depuroi/model-monitoring/alerting.md)
{% endcontent-ref %}

## Custom Metadata

inference に追加のメタデータを付与するには、Model Monitoring の custom metadata 機能を使用できます。custom metadata を使うと、画像が撮影された場所、予測の期待値などの情報を inference に追加できます。custom metadata は、「Recent Inferences」および「All Inferences」ビューに表示されます。

inference 結果に custom metadata を付与するには、以下を参照してください [Custom Metadata API](https://docs.roboflow.com/api-reference/model-monitoring/custom-metadata) のドキュメント。

## Model Monitoring API

自動化や外部システムとの統合のために、以下を使用して Model Monitoring の統計を取得できます [model monitoring 用 API](/developer/rest-api/model-monitoring.md).

## サポートされているデプロイ

Model Monitoring は、Roboflow の Hosted API または Roboflow Inference Server を使用して行われた推論リクエストをサポートします。前提として、Inference Server にインターネットアクセスがある必要があります。これには、Roboflow の [License Server](https://blog.roboflow.com/roboflow-license-server/).

{% hint style="info" %}
現時点では、Model Monitoring は Inference Pipeline を使用して行われた推論リクエストをサポートしていませんが、近いうちにサポートを追加する予定です。
{% endhint %}
