> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ja/to/model-monitoring.md).

# モデル監視

Roboflow を使ったモデル監視のガイド。

## 概要

Roboflow の Model Monitoring ダッシュボードでは、プロトタイピングから本番環境まで、モデルのパフォーマンスを確認できます。時間の経過に伴う概要統計を確認したり、個々の推論リクエストを開いて、エッジケースにモデルがどう対応するかを確認したりできます。

{% hint style="info" %}
Model Monitoring は廃止され、Vision Events に置き換えられる予定です。詳しくは、 [Vision Events のドキュメント](https://docs.roboflow.com/deployment/ja/to/vision-events.md) をご覧ください。
{% endhint %}

Model Monitoring は、Roboflow の Cloud API または Roboflow Inference Server を使用して行われた推論リクエストを記録します。ただし、Inference Server がインターネットにアクセスできる必要があります。これには、Roboflow の [License Server](https://blog.roboflow.com/roboflow-license-server/).

を使用するエッジデプロイも含まれます。推論にカスタムメタデータ（例: 画像の撮影場所や予測の期待値）を添付したり、Model Monitoring の統計を他のシステムに取り込んだりできます。どちらにも [HTTP API](#http-api).

を使用します。問題が発生したとき（例: モデルの信頼度が急に低下した場合や、Inference Server が停止してモデルが実行されなくなった場合）に、チームでメールアラートを受け取ることもできます。

{% content-ref url="/pages/09a8d3ae73c963be628ed23bfa1f5a9de8d89ac1" %}
[アラート](https://docs.roboflow.com/deployment/ja/to/model-monitoring/alerting.md)
{% endcontent-ref %}

### 推論画像

Model Monitoring は、デフォルトでは推論画像を保存しません。保存するには、次の2つの方法があります。

* Roboflow Dataset Upload ブロック: Workflow に「Roboflow Dataset Upload」ブロックを追加し、予測と予測画像を接続します。

<figure><img src="https://970637113-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-2e0fe2213137512f9d235bb38ecce7c3463998ef%2Fimage%20(367).png?alt=media" alt="" width="151"><figcaption></figcaption></figure>

* Active Learning: プロジェクトで [Active Learning](https://docs.roboflow.com/deployment/ja/to/active-learning.md) のルールを設定して、本番環境の推論画像を自動的に収集します。

<figure><img src="https://970637113-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-2dd831a903dc127197efcec47e81026339de962c%2Fimage%20(327).png?alt=media" alt="" width="198"><figcaption></figcaption></figure>

{% hint style="info" %}
Active Learning または Dataset Upload によって保存された画像は、プロジェクトに画像をアップロードした場合と同様に扱われます。プランの種類に応じて、クレジット、上限、または割り当て量が適用される場合があります。
{% endhint %}

## Webアプリ

ワークスペースのナビゲーションで「Models」ドロップダウンを開き、「Model Monitoring」を選択します。

ダッシュボードには、すべてのモデルのリクエスト総数、平均信頼度、平均推論時間が表示されます。推論時間には画像の前処理が含まれます。各変化率（%）は、選択した期間とその直前の同じ長さの期間を比較したものです。デフォルトの期間は過去1週間です。

<figure><img src="https://970637113-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-00a88ae4ffc0ffb5c7cc150479aec32f8dc2c12d%2Fimage%20(324).png?alt=media" alt=""><figcaption></figcaption></figure>

Models テーブルには、推論実績のあるすべてのモデルが表示されます。モデルをクリックすると、そのモデルの同じ統計に加えて、クラスごとの検出数を確認できます。他のタブには、すべてのモデルの最近の推論と、 [アラート](https://docs.roboflow.com/deployment/ja/to/model-monitoring/alerting.md).

<figure><img src="https://970637113-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-ecac74de3be1e2b8edb1a48dd17c3a89edf86155%2Fimage%20(326).png?alt=media" alt=""><figcaption></figcaption></figure>

<figure><img src="https://970637113-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-0baf9cb0b75c74c2b341606235b7b5cd89bd9e59%2FScreenshot%202024-05-23%20at%2020.44.57.png?alt=media" alt=""><figcaption></figcaption></figure>

が表示されます。「See All Inferences」をクリックすると Inferences テーブルが開き、各推論に付随するカスタムメタデータも確認できます。

<figure><img src="https://970637113-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-c0e48d4b2d25fea504b7eb38ecfc3a0ce664c5b5%2FScreenshot%202024-05-23%20at%2020.50.13.png?alt=media" alt=""><figcaption></figcaption></figure>

推論をクリックすると、画像、リクエストの詳細、検出結果が表示されます。画像が表示されるのは、推論画像を [保存している](#inference-images)場合のみです。詳細パネルで非表示にした項目は、そのブラウザーで非表示のままになります。

<figure><img src="https://970637113-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-ce546fe2b1798e05122b3de07944b699094213fc%2Fimage%20(366).png?alt=media" alt=""><figcaption></figcaption></figure>

## HTTP API

### 推論統計を取得する

ワークスペース内のモデルについて、指定した期間の推論数、信頼度、推論時間と、その直前にある同じ長さの期間の同じ数値を取得します。これは、ダッシュボードの合計値と変化率（%）の基になるデータです。Enterprise プランで利用でき、各 API キーからは1分あたり50件のリクエストを送信できます。

{% openapi src="/files/94f07d51016b4516e279b57586a3b4c4f00e7514" path="/{workspace}/inference-stats" method="get" %}
[model-monitoring.yaml](https://970637113-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-9f71481b5404c01cb2719571b4904eafff241bd9%2Fmodel-monitoring.yaml?alt=media)
{% endopenapi %}

### 推論にメタデータを添付する

Serverless と Inference Server のレスポンスには、 `inference_id`が含まれます。フィールド名と値を指定して送信すると、ダッシュボードで絞り込みやグループ化に使用できるメタデータを添付できます（例: カメラの設置場所や生産ライン）。フィールド名では大文字と小文字が区別されるため、表記を統一してください。

{% openapi src="/files/94f07d51016b4516e279b57586a3b4c4f00e7514" path="/{workspace}/inference-stats/metadata" method="post" %}
[model-monitoring.yaml](https://970637113-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-9f71481b5404c01cb2719571b4904eafff241bd9%2Fmodel-monitoring.yaml?alt=media)
{% endopenapi %}

次の例では、Serverless で推論を実行し、場所を添付します。

```python
import requests
from inference_sdk import InferenceHTTPClient

api_key = "YOUR_API_KEY"
workspace = "YOUR_WORKSPACE_ID"

client = InferenceHTTPClient(api_url="https://serverless.roboflow.com", api_key=api_key)
result = client.infer("https://media.roboflow.com/inference/people-walking.jpg", model_id="coco/24")

response = requests.post(
    f"https://api.roboflow.com/{workspace}/inference-stats/metadata",
    headers={"Authorization": f"Bearer {api_key}"},
    json={
        "data": [
            {
                "inference_ids": [result["inference_id"]],
                "field_name": "camera_location",
                "field_value": "canada",
            }
        ]
    },
)
print(response.json())
```
