Model Monitoring

Roboflow による Model Monitoring のガイド。

RoboflowのModel Monitoringダッシュボードは、プロトタイプ作成から本番運用まで、モデルの可視性を他に類を見ない形で提供します。Model Monitoringを使うと、モデルの時間経過に伴うパフォーマンスの洞察を得るためのハイレベルな統計を表示したり、個々の推論リクエストを確認してエッジケースでのモデルの振る舞いを確認したりできます。

Model Monitoringへのアクセス

Model Monitoringは一部のプランでのみ利用可能です。最新情報は、 Pricing page

Model Monitoringダッシュボードを表示するには、ワークスペースの「Monitoring」タブをクリックします。

Workspace Dashboard

すぐに、モデルに関する次の3つの統計が表示されます：

• Total requests: ワークスペース内のすべてのモデルへの総推論回数

• Average confidence: モデルが行ったすべての予測に対する平均信頼度。

• Average inference time: すべての推論に対する平均推論時間（画像の前処理を含み、予測を生成するのにかかった時間を秒単位で示します）

%変化の値は、現在の期間と前の期間を比較したものに基づいています。デフォルトでは、これらの統計は過去1週間のデータを表示します。上部のボタンを使って時間範囲を変更できます。

Modelsテーブルには推論があるすべてのモデルが表示され、クリックすると Model Dashboard.

最近の推論（すべてのモデルにわたる）や アラート設定.

Model Dashboard

Modelsタブでは、特定のモデルを選択してそのデータを表示できます。そこでは、Workspace Overviewと同じ統計が表示されますが、1つのモデルに特化したものになります。

ここでは統計に加えて、モデル内の各クラスの検出数と、他のクラスに対する分布も確認できます。

テーブルの右上にある「See All Inferences」ボタンをクリックすると、 Inferences Table.

Inferences Table

ここでは、モデルのすべての予測結果を見ることができます。加えて、推論に追加されたカスタムメタデータも表示されます。推論のサブセットを表示するには、テーブル右上のフィルタを使用できます。

Inference Details

Inferences Tableから、特定の推論を掘り下げて詳細を確認できます。以下の画像に示された順序で分解して説明します：

1. Image: ここでは、推論された画像を確認できます。 注：これはデフォルトでは有効になっていません。詳細は、 Enabling Inference Images

2. Inference Details: このパネルでは、推論リクエストに関するすべての詳細とプロパティを表示できます。利用可能なフィールドはデフォルトで表示されますが、一部を非表示にしたい場合は右上の「Cog」アイコンをクリックしてフィールドを隠すことができます（この設定はブラウザに保持されます）。

3. いくつかのフィールドでは、利用可能な場合、そのフィールドに基づいて推論を検索するオプションがあります。ハイライトされた例では、同じモデルからの推論を検索します。

4. Detections: この折りたたみ可能なパネルには、その推論から得られた検出の一覧が表示されます。テーブルの「Class」や「Confidence」ヘッダーをクリックしてソート順を選択できます。

5. Download & Link buttons: ここでは、推論に関連付けられた画像をダウンロードしたり、このInference Detailsへのリンクをコピーして後で参照できるようにできます。

Enabling Inference Images

Active LearningやDataset Uploadで保存された画像は、プロジェクトに画像をアップロードした場合と同様にカウントされます。クレジット、制限、または割当の使用はプランタイプに応じて適用される場合があります。

Model Monitoringで推論画像を表示するには2つの方法があります：

• Roboflow Dataset Upload block: Workflowsでは「Roboflow Dataset Upload」ブロックを追加できます。predictionsとprediction imageを接続すると、Model Monitoringに表示されます。

• Active Learning (legacy): レガシーなワークスペースでは、プロジェクトのページから「Active Learning」ルールを有効にできます：

Alerting

あなたやチームの他のメンバーは、モデルで問題や異常が発生した際にリアルタイムのアラートを購読できます。例えば、モデルのconfidenceが突然低下した場合や、Inference Serverがダウンしてモデルが動作しなくなった場合、チームにメール通知が届きます。

Alertingページで詳細を確認してください：

Alerting

Custom Metadata

推論に追加のメタデータを添付するには、Model Monitoringのカスタムメタデータ機能を使用できます。カスタムメタデータを使用すると、画像が撮影された場所や予想される予測値など、推論に関する情報を追加できます。カスタムメタデータは「Recent Inferences」および「All Inferences」ビューに表示されます。

推論結果にカスタムメタデータを添付する方法については、 Custom Metadata API documentation.

Model Monitoring API

自動化や外部システムとの統合のために、Model Monitoringの統計を our API for model monitoring.

Supported Deployments

Model Monitoringは、RoboflowのHosted APIまたはRoboflow Inference Serverを使用して行われた推論リクエストをサポートします（Inference Serverにインターネット接続がある場合）。これには、Roboflowの License Server.

現時点では、Model MonitoringはInference Pipelineを使用した推論リクエストをサポートしていませんが、近い将来サポートを追加する予定です。