モデル監視
Roboflow による Model Monitoring のガイド。
概要
Roboflow のモデルモニタリングダッシュボードでは、プロトタイピングから本番運用まで、モデルに関する比類のない可視性を得られます。モデルモニタリングでは、モデルの経時的なパフォーマンスを把握するための高レベルな統計情報を表示したり、個々の推論リクエストを表示して、エッジケースでのモデルのパフォーマンスを確認したりできます。
Web アプリ
モデルモニタリングへのアクセス
モデルモニタリングは、［Models］ページのサブタブです。アクセスするには、ワークスペースのナビゲーションバーで［Models］ドロップダウンを開いて［Model Monitoring］を選択するか、［Models］ページの［Model Monitoring］タブに直接移動します。
ワークスペースダッシュボード
すぐに、モデルに関する次の 3 つの統計情報が表示されます。
合計リクエスト数：ワークスペース内のすべてのモデルに対して実行された推論の合計数
平均信頼度： モデルによって行われたすべての予測における平均信頼度。
平均推論時間：すべての推論における平均推論時間（画像の前処理を含め、予測の生成にかかった秒単位の時間）
変化率の値は、現在の期間と前の期間の比較に基づいています。デフォルトでは、これらの統計情報には過去 1 週間のデータが表示されます。ただし、統計情報の上部にあるボタンを使用して期間を変更できます。
［Models］テーブルには、推論が実行されたすべてのモデルが表示され、モデルをクリックすると モデルダッシュボード.
また、［Recent Inferences］（すべてのモデル対象）を表示するタブと、 アラートを設定する.
モデルダッシュボード
［Models］タブでは、特定のモデルを選択してそのデータを表示できます。そこでは、ワークスペース概要と同じ統計情報が、1 つのモデルに特化して表示されます。
ここでは、統計情報に加えて、モデル内の各クラスの検出数を表示し、他のクラスとの分布を確認できます。
テーブル右上の［See All Inferences］ボタンをクリックすると、 推論テーブル.
推論テーブル
ここでは、モデルのすべての予測結果を確認できます。さらに、推論に追加されたカスタムメタデータも表示されます。推論のサブセットを表示するには、テーブル右上のフィルターを使用できます。
推論の詳細
推論テーブルから、特定の推論を詳しく確認して詳細を表示できます。この画像に示されている順序で説明します。
画像： ここでは、推論された画像を確認できます。 注：これはデフォルトでは有効になっていません。 推論画像を有効にする
推論の詳細： このパネルでは、推論リクエストに関するすべての詳細とプロパティを確認できます。デフォルトでは利用可能なすべてのフィールドが表示されますが、一部を非表示にしたい場合は、右上隅の［歯車］アイコンをクリックしてフィールドを非表示にできます。（この設定はブラウザに保存されます）
一部のフィールドでは、利用可能な場合、そのフィールドに基づいて推論を検索するオプションがあります。強調表示された例では、同じモデルからの推論を検索します。
検出結果： この折りたたみ可能なペインには、その推論から受信した検出結果の一覧が表示されます。［Class］および［Confidence］のテーブルヘッダーをクリックして、テーブルの並べ替え順序を選択できます。
ダウンロードおよびリンクボタン： ここでは、推論に関連付けられた画像をダウンロードするか、後で参照するためにこの推論の詳細へのリンクをコピーできます。
推論画像を有効にする
モデルモニタリングに推論画像を表示するには、2 つの方法があります。
Roboflow Dataset Upload ブロック： Workflows では、［Roboflow Dataset Upload］ブロックを追加できます。予測と予測画像を接続すると、モデルモニタリングに表示されます。
Active Learning： を設定して Active Learning プロジェクトからのルールにより、本番推論画像を自動的に収集できます。
アラート
モデルで問題や異常が発生した際に、あなたやチームの他のメンバーはリアルタイムアラートを購読できます。たとえば、モデルの信頼度が急激に低下した場合や、Inference Server が停止してモデルが実行されなくなった場合、チームにメール通知が送信されます。
アラートページの詳細をご覧ください：
アラートカスタムメタデータ
推論に追加のメタデータを添付するには、モデルモニタリングのカスタムメタデータ機能を使用できます。カスタムメタデータを使用すると、画像が撮影された場所、予測の期待値などの情報を推論に追加できます。カスタムメタデータは、［Recent Inferences］および［All Inferences］ビューに表示されます。
推論結果にカスタムメタデータを添付するには、 カスタムメタデータ API のドキュメントをご覧ください。
モデルモニタリング API
自動化および外部システムとの統合のために、以下を使用してモデルモニタリングの統計情報を取得できます モデルモニタリング用 API.
サポートされているデプロイメント
モデルモニタリングは、Roboflow の Cloud API または Roboflow Inference Server を使用して行われた推論リクエストをサポートします（Inference Server がインターネットにアクセスできることが条件です）。これには、Roboflow の以下を使用するエッジデプロイメントも含まれます ライセンスサーバー.
HTTP API
ワークスペース内でデプロイされたモデルに関する統計情報を取得する
モデルモニタリング API を使用して、モデルモニタリングの統計情報を取得できます。このエンドポイントは現在、api_key に加えて 3 つのクエリパラメータを受け付けます。
startTime：形式が「YYYY-MM-DD HH」の DateTime 文字列🇲🇲ss」。空の場合、リクエスト時刻から 24 時間前がデフォルトになります
endTime：形式が「YYYY-MM-DD HH」の DateTime 文字列🇲🇲ss」。空の場合、リクエスト時点の現在時刻がデフォルトになります
modelNames：カンマ区切りのモデル名の文字列。例：「?modelNames=license-plate-detector,truck-detector」
統計情報
GET /:workspace/inference-stats
リクエスト例：
レスポンス例：
推論にメタデータを添付する
各推論結果にカスタムメタデータ値を添付し、モデルモニタリングダッシュボードで表示できます。
用途
カスタムメタデータには、データをタグ付けして検索や整理を容易にすることから、推論結果に追加のコンテキストを加えることまで、さまざまな用途があります。たとえば、米国内に 3 つの工場を持つ自動車メーカーであるとします。推論結果に追加することを検討できる項目には、場所、画像が撮影された生産ライン、特定の操作が成功したか失敗したか、推論の期待結果（例： color=blue).
カスタムメタデータを作成する
POST /:workspace/inference-stats/metadata
モデルモニタリングダッシュボードに表示される追加データを推論結果に添付します。
Roboflow の Inference Container または Serverless Cloud API で推論リクエストを行うと、レスポンスで inference_id を受け取ります。この ID を使用して、以下に示すように inference_ids 配列に追加し、メタデータを添付できます。 field_name はプロパティの名前であり、 value は値です。
たとえば、推論結果に地理的位置を添付する場合は、 field_name を「location」に設定し、 value は「united_states」のような場所になります。
注: の値 field_name および field_value は完全にユーザー定義です。文字の大文字・小文字を含め、書式を一貫させてください。たとえば、 field_name: "my_location" および field_name: "My_location" は 2 つの別個のメタデータ値として扱われます。
リクエスト例：
ヘッダー：
Content-Type
application/json
本文：
data
Array<Metadata>
{
"inference_ids": Array<string>;
"field_name": string;
"field_value": string;
}
レスポンス：
Python を使用する例：
最終更新
役に立ちましたか？