モデル監視
Roboflow によるモデル監視ガイド。
概要
Roboflow のモデルモニタリングダッシュボードでは、プロトタイピングから本番運用まで、モデルをこれまでにない可視性で把握できます。モデルモニタリングでは、高レベルの統計情報を表示してモデルのパフォーマンスの経時的な傾向を把握したり、個々の推論リクエストを表示してエッジケースにおけるモデルの動作を確認したりできます。
モデル監視 は非推奨になります および Vision Events に置き換えられます。詳細は Vision Events のドキュメント をご覧ください。
Web アプリ
モデルモニタリングへのアクセス
モデルモニタリングは、［Models］ページ内のサブタブです。アクセスするには、ワークスペースのナビゲーションバーで［Models］ドロップダウンを開き、［Model Monitoring］を選択するか、［Models］ページの［Model Monitoring］タブに直接移動します。
ワークスペースダッシュボード
すぐに、モデルに関する次の 3 つの統計情報が表示されます。
リクエスト総数：ワークスペース内のすべてのモデルに対して実行された推論の合計数
平均信頼度： モデルによって行われたすべての予測の平均信頼度。
平均推論時間：すべての推論における平均推論時間（画像の前処理を含め、予測の生成にかかった秒数）
変化率の値は、現在の期間と前の期間の比較に基づいています。デフォルトでは、これらの統計情報には過去 1 週間のデータが表示されます。ただし、統計情報の上部にあるボタンを使用して期間を変更できます。
［Models］テーブルには、推論が実行されたすべてのモデルが表示され、それらをクリックすると次のページに移動します： モデルダッシュボード.
また、［Recent Inferences］（すべてのモデル対象）を表示するタブや、次のタブにもアクセスできます： アラートの設定.
モデルダッシュボード
［Models］タブでは、特定のモデルを選択してそのデータを表示できます。そこでは、ワークスペース概要と同じ統計情報が表示されますが、1 つのモデルに限定されます。
ここでは、統計情報に加えて、モデル内の各クラスの検出数を表示し、他のクラスとの分布を確認できます。
テーブルの右上にある［See All Inferences］ボタンをクリックすると、次のページに移動します： 推論テーブル.
推論テーブル
ここでは、モデルのすべての予測結果を確認できます。さらに、推論に追加されたカスタムメタデータも表示されます。推論の一部を表示するには、テーブル右上のフィルターを使用できます。
推論の詳細
推論テーブルから、特定の推論を詳しく調べて、より詳細な情報を確認できます。この画像に示されている順序で説明します：
画像： ここでは、推論された画像を確認できます。 注：これはデフォルトでは有効になっていません。 推論画像の有効化
推論の詳細： このパネルでは、推論リクエストに関するすべての詳細とプロパティを表示できます。デフォルトでは利用可能なすべてのフィールドが表示されますが、一部を非表示にする場合は、右上の［Cog］アイコンをクリックしてフィールドを非表示にできます。（この設定はブラウザーに保存されます）
一部のフィールドでは、利用可能な場合、そのフィールドに基づいて推論を検索するオプションが表示されます。強調表示された例では、同じモデルからの推論を検索します。
検出： この折りたたみ可能なペインには、その推論から受信した検出のリストが表示されます。［Class］および［Confidence］のテーブルヘッダーをクリックすると、テーブルの並べ替え順を選択できます。
ダウンロードとリンクのボタン： ここでは、推論に関連付けられた画像をダウンロードしたり、後で参照するためにこの［Inference Details］へのリンクをコピーしたりできます。
推論画像の有効化
Active Learning またはデータセットアップロードによって保存された画像は、プロジェクトに画像をアップロードした場合と同様にカウントされます。プランの種類に応じて、クレジット、上限、またはクォータの使用量が適用される場合があります。
モデルモニタリングに推論画像を表示するには、2 つの方法があります：
Roboflow Dataset Upload ブロック： Workflows では、［Roboflow Dataset Upload］ブロックを追加できます。予測と予測画像を接続すると、モデルモニタリングに表示されます。
Active Learning： 次を構成できます： Active Learning プロジェクトからルールを設定して、本番推論画像を自動的に収集できます。
アラート
あなたとチームの他のメンバーは、モデルに問題や異常が発生した場合にリアルタイムアラートを購読できます。たとえば、モデルの信頼度が突然低下した場合や、Inference Server が停止してモデルが実行されなくなった場合、チームにメール通知が送信されます。
アラートページで詳細を確認してください：
アラートカスタムメタデータ
推論に追加のメタデータを添付するには、モデルモニタリングのカスタムメタデータ機能を使用できます。カスタムメタデータを使用すると、画像が撮影された場所、予測の期待値などの情報を推論に追加できます。カスタムメタデータは、［Recent Inferences］および［All Inferences］ビューに表示されます。
推論結果にカスタムメタデータを添付するには、次を参照してください： カスタムメタデータ API ドキュメントをご覧ください。
モデルモニタリング API
自動化や外部システムとの統合のために、以下を使用してモデルモニタリングの統計情報を取得できます： モデルモニタリング用 API.
サポートされるデプロイメント
モデルモニタリングは、Roboflow の Cloud API または Roboflow Inference Server を使用して行われた推論リクエストをサポートします。ただし、Inference Server にはインターネットアクセスが必要です。これには、Roboflow の次を使用するエッジデプロイメントも含まれます： License Server.
HTTP API
ワークスペース内のデプロイ済みモデルに関する統計情報を取得する
モデルモニタリング API を使用して、モデルモニタリングの統計情報を取得できます。このエンドポイントは現在、api_key に加えて 3 つのクエリパラメータを受け付けます：
startTime：形式が「YYYY-MM-DD HH🇲🇲ss」の DateTime 文字列。空の場合、リクエスト時刻から 24 時間前がデフォルトになります
endTime：形式が「YYYY-MM-DD HH🇲🇲ss」の DateTime 文字列。空の場合、リクエスト時点の現在時刻がデフォルトになります
modelNames：カンマ区切りのモデル名の文字列。例：「?modelNames=license-plate-detector,truck-detector」
統計情報
GET /:workspace/inference-stats
リクエスト例：
レスポンス例：
推論にメタデータを添付する
各推論結果にカスタムメタデータ値を添付し、モデルモニタリングダッシュボードで表示できます。
用途
カスタムメタデータには、データをタグ付けして検索や整理を容易にすることから、推論結果に追加のコンテキストを加えることまで、さまざまな用途があります。たとえば、米国全土に 3 つの工場を持つ自動車メーカーであるとします。推論結果に追加することを検討できる項目には、場所、画像が撮影された生産ライン、特定の操作が成功したか失敗したか、推論の期待結果（例： color=blue).
カスタムメタデータを作成する
POST /:workspace/inference-stats/metadata
モデルモニタリングダッシュボードに表示される追加データを推論結果に添付します。
Roboflow の Inference Container または Serverless Cloud API で推論リクエストを行うと、レスポンスで次を受け取ります： inference_id 。この ID を使用して、次に追加できます： inference_ids 以下に示すように配列へ追加し、メタデータを添付します。 field_name はプロパティの名前であり、 value は値です。
たとえば、推論結果に地理的位置を添付する場合、次を設定します： field_name を「location」に設定し、次の値は value 「united_states」のような場所になります。
注意： 次の値は： field_name および field_value 完全にユーザー定義です。文字の大文字と小文字を含め、書式に一貫性を持たせてください。たとえば、 field_name: "my_location" および field_name: "My_location" は、2 つの別個のメタデータ値として扱われます。
リクエスト例：
ヘッダー：
Content-Type
application/json
本文：
data
配列<Metadata>
{
"inference_ids": Array<string>;
"field_name": string;
"field_value": string;
}
レスポンス：
Python を使用した例：
最終更新
役に立ちましたか？