モデルモニタリング

RoboflowのModel Monitoringダッシュボードは、プロトタイピングから本番運用まで、モデルの可視性を他に類を見ないレベルで提供します。Model Monitoringを使うことで、モデルのパフォーマンスを時系列で把握できるハイレベルな統計情報や、個々の推論リクエストを確認してエッジケースでのモデルの動作を確認することができます。

Model Monitoringへのアクセス方法

Model Monitoringダッシュボードを表示するには、ワークスペース内の「Monitoring」タブをクリックしてください。

ワークスペースダッシュボード

すぐに、モデルに関する3つの統計情報が表示されます：

• 総リクエスト数：ワークスペース内のすべてのモデルに対して行われた推論の総数

• 平均信頼度： モデルによって行われたすべての予測の平均信頼度。

• 平均推論時間：すべての推論における平均推論時間（画像の前処理を含む予測生成までの秒数）

Modelsテーブルには推論が行われたすべてのモデルが表示され、それらをクリックすると Model Dashboard.

また、Recent Inferences（すべてのモデルの最新推論）や アラート設定.

Model Dashboard

Modelsタブでは、特定のモデルを選択してそのデータを表示できます。ここでは、ワークスペース概要と同じ統計情報が、そのモデル固有のものとして表示されます。

ここでは、統計情報に加えて、モデル内の各クラスの検出数や、他のクラスとの分布も確認できます。

テーブル右上の「See All Inferences」ボタンをクリックすると、 Inferences Table.

Inferences Table

ここでは、モデルのすべての予測結果を確認できます。また、推論に追加されたカスタムメタデータも表示されます。推論の一部のみを表示したい場合は、テーブル右上のフィルターを利用できます。

推論の詳細

Inferences Tableから、特定の推論を詳細表示してさらに詳しく確認できます。以下の画像の順番で説明します：

1. 画像： ここでは、推論された画像を確認できます。 注意：これはデフォルトで有効になっていません。詳細は 推論画像の有効化

2. 推論の詳細： このパネルでは、推論リクエストに関するすべての詳細やプロパティを確認できます。すべての利用可能なフィールドがデフォルトで表示されますが、非表示にしたい場合は右上の「歯車」アイコンをクリックしてフィールドを隠せます（この設定はブラウザに保存されます）

3. 一部のフィールドでは、利用可能な場合、そのフィールドを基準に推論を検索するオプションがあります。ハイライトされた例では、同じモデルからの推論を検索します。

4. 検出： この折りたたみ可能なペインには、その推論から得られた検出のリストが表示されます。「Class」や「Confidence」のテーブルヘッダーをクリックして並び順を変更できます。

5. ダウンロード＆リンクボタン： ここでは、推論に関連付けられた画像をダウンロードしたり、この推論詳細へのリンクをコピーして後で参照したりできます。

推論画像の有効化

Model Monitoringで推論画像を表示するには、2つの方法があります：

• Roboflow Dataset Uploadブロック： Workflowsで「Roboflow Dataset Upload」ブロックを追加できます。予測と予測画像を接続すると、Model Monitoringに表示されます。

• Active Learning（レガシー）： レガシーワークスペースの場合、プロジェクトページから「Active Learning」ルールを有効化できます：

アラート

あなたやチームの他のメンバーは、モデルに問題や異常が発生した際にリアルタイムでアラートを受け取ることができます。たとえば、モデルの信頼度が突然低下した場合やInference Serverがダウンしてモデルが動作しなくなった場合、チームにメール通知が届きます。

詳細はアラートページをご覧ください：

カスタムメタデータ

推論に追加のメタデータを付与するには、Model Monitoringのカスタムメタデータ機能を利用できます。カスタムメタデータを使うことで、画像の撮影場所や予測の期待値などの情報を推論に追加できます。カスタムメタデータは「Recent Inferences」や「All Inferences」ビューに表示されます。

推論結果にカスタムメタデータを付与する方法については、 Custom Metadata API ドキュメントをご覧ください。

Model Monitoring API

自動化や外部システムとの統合のために、 model monitoring用API.

対応デプロイメント

Model Monitoringは、RoboflowのHosted APIまたはRoboflow Inference Server（Inference Serverがインターネットに接続されている場合）を利用した推論リクエストをサポートします。これにはRoboflowの License Server.