Model Monitoring

Roboflow के साथ Model Monitoring के लिए एक गाइड।

के बारे में

Roboflow का Model Monitoring डैशबोर्ड आपको आपके मॉडलों में, प्रोटोटाइपिंग से लेकर प्रोडक्शन तक, बेजोड़ दृश्यता देता है। Model Monitoring के साथ, आप उच्च-स्तरीय आँकड़े देख सकते हैं ताकि समय के साथ आपके मॉडल कैसे प्रदर्शन कर रहे हैं, इसकी समझ मिल सके, या फिर अलग-अलग इनफ़ेरेंस अनुरोध भी देख सकते हैं, ताकि यह देखा जा सके कि आपके मॉडल किन किनारे के मामलों पर कैसा प्रदर्शन करते हैं।

Model Monitoring अप्रचलित कर दिया जाएगा और इसे Vision Events से बदल दिया जाएगा। देखें Vision Events का दस्तावेज़ अधिक जानकारी के लिए।

वेब ऐप

Model Monitoring तक पहुँच

Model Monitoring, Models पेज पर एक उप-टैब है। इसे एक्सेस करने के लिए, अपने वर्कस्पेस नेविगेशन बार में "Models" ड्रॉपडाउन खोलें और "Model Monitoring" चुनें, या सीधे Models पेज पर "Model Monitoring" टैब पर जाएँ।

वर्कस्पेस डैशबोर्ड

तुरंत, आपको अपने मॉडलों से संबंधित तीन आँकड़े दिखाई देंगे:

• कुल अनुरोध: आपके वर्कस्पेस के सभी मॉडलों पर किए गए इनफ़ेरेंस की कुल संख्या

• औसत कॉन्फिडेंस: आपके मॉडलों द्वारा की गई सभी भविष्यवाणियों के पार औसत कॉन्फिडेंस।

• औसत इनफ़ेरेंस समय: सभी इनफ़ेरेंसेज़ के पार औसत इनफ़ेरेंस समय (इमेज प्रीप्रोसेसिंग सहित भविष्यवाणियाँ उत्पन्न करने में लगा समय, सेकंड में)

% परिवर्तन के मान वर्तमान अवधि बनाम पिछली अवधि पर आधारित होते हैं। डिफ़ॉल्ट रूप से, ये आँकड़े आपको पिछले सप्ताह का डेटा दिखाएँगे। हालांकि, आप आँकड़ों के ऊपर मौजूद बटन का उपयोग करके समय सीमा बदल सकते हैं।

Models तालिका उन सभी मॉडलों को दिखाती है जिन पर इनफ़ेरेंस किए गए हैं, और उन पर क्लिक करने से आप यहाँ पहुँच जाएँगे: मॉडल डैशबोर्ड.

आप हालिया इनफ़ेरेंसेज़ (सभी मॉडलों के लिए) देखने और अलर्ट सेट करने.

मॉडल डैशबोर्ड

Models टैब के तहत, आप उसका डेटा देखने के लिए किसी विशिष्ट मॉडल का चयन कर सकते हैं। वहाँ, आपको Workspace Overview जैसे ही आँकड़े दिखाई देंगे, लेकिन वे केवल एक मॉडल के लिए विशिष्ट होंगे।

यहाँ, आँकड़ों के अलावा, आप मॉडल में प्रत्येक वर्ग के लिए डिटेक्शन की संख्या देख सकते हैं, और अन्य वर्गों के संबंध में उसका वितरण भी देख सकते हैं।

तालिका के ऊपर दाएँ कोने में मौजूद "See All Inferences" बटन पर क्लिक करने से आप यहाँ चले जाएँगे: इनफ़ेरेंसेज़ तालिका.

इनफ़ेरेंसेज़ तालिका

यहाँ, आप अपने मॉडल के सभी भविष्यवाणी परिणाम देख सकते हैं। इसके अलावा, आप अपने इनफ़ेरेंसेज़ में जोड़ा गया कोई भी कस्टम मेटाडेटा भी देखेंगे। अपने इनफ़ेरेंसेज़ का एक उपसमूह देखने के लिए, आप तालिका के ऊपर दाएँ मौजूद फ़िल्टर का उपयोग कर सकते हैं।

इनफ़ेरेंस विवरण

इनफ़ेरेंसेज़ तालिका से, आपके पास किसी विशिष्ट इनफ़ेरेंस में गहराई से जाने और अधिक विवरण देखने की क्षमता है। आइए इसे इस चित्र में दिखाए गए क्रम में समझते हैं:

1. छवि: यहाँ, आप वह छवि देख सकते हैं जिस पर इनफ़ेरेंस किया गया था। नोट: यह डिफ़ॉल्ट रूप से सक्षम नहीं है। देखें इनफ़ेरेंस छवियों को सक्षम करना

2. इनफ़ेरेंस विवरण: इस पैनल पर, आप अपने इनफ़ेरेंस अनुरोध के बारे में सभी विवरण और गुण देख सकते हैं। सभी उपलब्ध फ़ील्ड डिफ़ॉल्ट रूप से दिखाए जाते हैं, लेकिन यदि आप कुछ छिपाना चाहते हैं, तो आप फ़ील्ड छिपाने के लिए ऊपर दाएँ कोने में "Cog" आइकन पर क्लिक कर सकते हैं। (यह सेटिंग आपके ब्राउज़र में बनी रहेगी)

3. कुछ फ़ील्ड पर, यदि उपलब्ध हों, तो उस फ़ील्ड के आधार पर इनफ़ेरेंसेज़ खोजने का विकल्प होगा। हाइलाइट किए गए उदाहरण में, यह उसी मॉडल के इनफ़ेरेंसेज़ खोजेगा।

4. डिटेक्शन: यह संक्षिप्त की जा सकने वाली पैन उस इनफ़ेरेंस से प्राप्त डिटेक्शनों की सूची दिखाती है। आप तालिका के क्रम को चुनने के लिए "Class" और "Confidence" तालिका शीर्षकों पर क्लिक कर सकते हैं।

5. डाउनलोड और लिंक बटन: यहाँ, आप इनफ़ेरेंस से संबद्ध छवि डाउनलोड कर सकते हैं या बाद के संदर्भ के लिए इस इनफ़ेरेंस विवरण का लिंक कॉपी कर सकते हैं।

इनफ़ेरेंस छवियों को सक्षम करना

Active Learning या Dataset Upload द्वारा सहेजी गई छवियाँ, आपके प्रोजेक्ट में एक छवि अपलोड करने के समान ही गिनी जाएँगी। आपकी योजना के प्रकार के अनुसार क्रेडिट, सीमा या कोटा उपयोग लागू हो सकता है।

Model Monitoring में इनफ़ेरेंस छवियों को दिखाने के दो तरीके हैं:

• Roboflow Dataset Upload ब्लॉक: वर्कफ़्लोज़ में, आप "Roboflow Dataset Upload" ब्लॉक जोड़ सकते हैं। एक बार जब आप भविष्यवाणियों और भविष्यवाणी छवि को जोड़ देते हैं, तो यह Model Monitoring में दिखाई देगा।

• Active Learning: आप कॉन्फ़िगर कर सकते हैं Active Learning नियम, ताकि आपके प्रोजेक्ट से उत्पादन इनफ़ेरेंस छवियाँ स्वतः एकत्रित हों।

अलर्टिंग

आप और आपकी टीम के अन्य सदस्य तब रीयल-टाइम अलर्ट की सदस्यता ले सकते हैं जब आपके मॉडल में समस्याएँ या असामान्यताएँ होती हैं। उदाहरण के लिए, यदि आपके मॉडल का कॉन्फिडेंस अचानक कम हो जाए, या आपका Inference Server डाउन हो जाए, और आपका मॉडल चलना बंद कर दे, तो आपकी टीम को ईमेल सूचना प्राप्त होगी।

अलर्टिंग पेज पर अधिक जानकारी देखें:

अलर्टिंग

कस्टम मेटाडेटा

किसी इनफ़ेरेंस में अतिरिक्त मेटाडेटा जोड़ने के लिए, आप Model Monitoring की कस्टम मेटाडेटा सुविधा का उपयोग कर सकते हैं। कस्टम मेटाडेटा का उपयोग करके, आप इनफ़ेरेंस में ऐसी जानकारी जोड़ सकते हैं जैसे छवि कहाँ ली गई थी उसका स्थान, भविष्यवाणी का अपेक्षित मान, और इसी तरह की अन्य जानकारी। आपका कस्टम मेटाडेटा "Recent Inferences" और "All Inferences" दृश्यों में दिखाई देगा।

किसी इनफ़ेरेंस परिणाम से कस्टम मेटाडेटा जोड़ने के लिए, कृपया देखें कस्टम मेटाडेटा API दस्तावेज़ीकरण।

Model Monitoring API

स्वचालन और बाहरी सिस्टमों के साथ एकीकरण के लिए, आप Model Monitoring आँकड़े इस का उपयोग करके प्राप्त कर सकते हैं मॉडल मॉनिटरिंग के लिए हमारा API.

समर्थित डिप्लॉयमेंट

Model Monitoring, Roboflow के Cloud API या Roboflow Inference Server का उपयोग करके किए गए इनफ़ेरेंस अनुरोधों का समर्थन करता है, बशर्ते Inference Server के पास इंटरनेट एक्सेस हो। इसमें edge डिप्लॉयमेंट शामिल हैं जो Roboflow के लाइसेंस सर्वर.

HTTP API

वर्कस्पेस में डिप्लॉय किए गए मॉडलों के बारे में आँकड़े प्राप्त करें

आप Model Monitoring API का उपयोग करके Model Monitoring आँकड़े प्राप्त कर सकते हैं। यह endpoint वर्तमान में 3 query params स्वीकार करता है (api_key के अतिरिक्त):

• startTime : DateTime string "YYYY-MM-DD HH" प्रारूप में🇲🇲ss". यदि खाली हो, तो अनुरोध के समय से 24 घंटे पहले का डिफ़ॉल्ट मान लिया जाएगा

• endTime : DateTime string "YYYY-MM-DD HH" प्रारूप में🇲🇲ss". यदि खाली हो, तो अनुरोध के वर्तमान समय को डिफ़ॉल्ट माना जाएगा

• modelNames : कॉमा से अलग किए गए मॉडल नामों की स्ट्रिंग, यानी "?modelNames=license-plate-detector,truck-detector"

आँकड़े

GET /:workspace/inference-stats

उदाहरण अनुरोध:

curl --location --request GET 'https://api.roboflow.com/${WORKSPACE}/inference-stats?api_key=$ROBOFLOW_API_KEY&startTime=&endTime=' \\

उदाहरण प्रतिक्रिया:

200

{
    "num_inferences": 120,
    "prev_num_inferences": 290,
    "num_errors": 0,
    "prev_num_errors": 0,
    "avg_confidence": 0.92541713388321,
    "prev_avg_confidence": 0.8610920182589827,
    "avg_response_time": 0.16464362986438943,
    "prev_avg_response_time": 0.043521592255159045,
    "inference_stats": [
        {
            "model_name": "cards-3z9gn",
            "predicted_class": "Playingcards",
            "num_inferences": 106,
            "prev_num_inferences": 190,
            "num_errors": null,
            "prev_num_errors": null,
            "avg_confidence": 0.931105958703923,
            "prev_avg_confidence": 0.935741652940449,
            "avg_response_time": 0.176652773857811,
            "prev_avg_response_time": 0.05487422056841488,
            "median_confidence": 0.9268901944160461,
            "class_count": 211,
            "deployment_types": "hosted",
            "inference_server_versions": "0.15.3,0.16.0",
            "model_num_inferences": 107,
            "prev_model_num_inferences": 190
        },
        {
            "model_name": "cards-3z9gn",
            "predicted_class": "",
            "num_inferences": 1,
            "prev_num_inferences": null,
            "num_errors": null,
            "prev_num_errors": null,
            "avg_confidence": 0,
            "prev_avg_confidence": null,
            "avg_response_time": 0,
            "prev_avg_response_time": null,
            "median_confidence": 0,
            "class_count": 1,
            "deployment_types": "hosted",
            "inference_server_versions": "0.16.0",
            "model_num_inferences": 107,
            "prev_model_num_inferences": null
        },
        {
            "model_name": "hard-hat-sample-8j2w3",
            "predicted_class": "head",
            "num_inferences": null,
            "prev_num_inferences": 100,
            "num_errors": null,
            "prev_num_errors": null,
            "avg_confidence": null,
            "prev_avg_confidence": 0.6933842897415161,
            "avg_response_time": null,
            "prev_avg_response_time": 0.021951598459972955,
            "median_confidence": null,
            "class_count": null,
            "deployment_types": "hosted",
            "inference_server_versions": "0.15.1",
            "model_num_inferences": null,
            "prev_model_num_inferences": 100
        },
        {
            "model_name": "hard-hat-sample-8j2w3",
            "predicted_class": "helmet",
            "num_inferences": null,
            "prev_num_inferences": 100,
            "num_errors": null,
            "prev_num_errors": null,
            "avg_confidence": null,
            "prev_avg_confidence": 0.7451311349868774,
            "avg_response_time": null,
            "prev_avg_response_time": 0.021951598459972955,
            "median_confidence": null,
            "class_count": null,
            "deployment_types": "hosted",
            "inference_server_versions": "0.15.1",
            "model_num_inferences": null,
            "prev_model_num_inferences": 100
        },
        {
            "model_name": "coco",
            "predicted_class": "car",
            "num_inferences": 11,
            "prev_num_inferences": null,
            "num_errors": null,
            "prev_num_errors": null,
            "avg_confidence": 0.91790372133255,
            "prev_avg_confidence": null,
            "avg_response_time": 0.0647244118180817,
            "prev_avg_response_time": null,
            "median_confidence": 0.91790372133255,
            "class_count": 22,
            "deployment_types": "hosted",
            "inference_server_versions": "0.15.3",
            "model_num_inferences": 11,
            "prev_model_num_inferences": null
        },
        {
            "model_name": "license-plate-recognition-rxg4e",
            "predicted_class": "License_Plate",
            "num_inferences": 2,
            "prev_num_inferences": null,
            "num_errors": null,
            "prev_num_errors": null,
            "avg_confidence": 0.8706022202968597,
            "prev_avg_confidence": null,
            "avg_response_time": 0.07911215199999333,
            "prev_avg_response_time": null,
            "median_confidence": 0.8706022202968597,
            "class_count": 2,
            "deployment_types": "hosted",
            "inference_server_versions": "0.15.3",
            "model_num_inferences": 2,
            "prev_model_num_inferences": null
        }
    ]
}

इनफ़ेरेंस में मेटाडेटा जोड़ें

आप प्रत्येक इनफ़ेरेंस परिणाम में एक कस्टम मेटाडेटा मान जोड़ सकते हैं और उसे Model Monitoring डैशबोर्ड में देख सकते हैं।

अनुप्रयोग

कस्टम मेटाडेटा के कई अनुप्रयोग हैं, जैसे डेटा को टैग करना ताकि उसे ढूँढ़ना और व्यवस्थित करना आसान हो, या इनफ़ेरेंस परिणाम में अतिरिक्त संदर्भ जोड़ना। उदाहरण के लिए, मान लीजिए आप एक ऑटोमोटिव निर्माता हैं और संयुक्त राज्य भर में आपकी तीन फैक्ट्रियाँ हैं। अपने इनफ़ेरेंस परिणामों में आप जिन कुछ चीज़ों को जोड़ने पर विचार कर सकते हैं, उनमें स्थान, कौन-सी प्रोडक्शन लाइन पर छवि ली गई थी, कोई विशेष संचालन पास हुआ या फेल, और इनफ़ेरेंस का अपेक्षित परिणाम (जैसे color=blue).

कस्टम मेटाडेटा बनाएँ

POST /:workspace/inference-stats/metadata

इनफ़ेरेंस परिणाम में अतिरिक्त डेटा जोड़ता है, जिसे Model Monitoring डैशबोर्ड में दिखाया जाएगा।

जब आप Roboflow के Inference Container या Serverless Cloud API के साथ इनफ़ेरेंस अनुरोध करते हैं, तो आपको प्रतिक्रिया में एक inference_id मिलेगा। इस ID का उपयोग करके, आप इसे नीचे दिखाए गए अनुसार inference_ids array में जोड़ सकते हैं ताकि अपना मेटाडेटा उससे जोड़ा जा सके। field_name गुण के लिए नाम है, और value मान है।

उदाहरण के लिए, यदि मैं अपने इनफ़ेरेंस परिणामों में भौगोलिक स्थान जोड़ना चाहता हूँ, तो मैं field_name को "location" पर सेट करूँगा और value "united_states" जैसे स्थान का मान होगा।

नोट: के लिए मान field_name और field_value पूरी तरह से उपयोगकर्ता-परिभाषित होते हैं। सुनिश्चित करें कि फ़ॉर्मेटिंग सुसंगत रहे, जिसमें अक्षरों का केस भी शामिल है। उदाहरण के लिए field_name: "my_location" और field_name: "My_location" को दो अलग-अलग मेटाडेटा मानों के रूप में माना जाएगा।

उदाहरण अनुरोध:

curl --location --request POST 'https://api.roboflow.com/${WORKSPACE}/inference-stats/metadata' \\
--header 'Content-Type: application/json' \
--data-raw '{
    "api_key": "YOUR_API_KEY",
    "data": [
        {
            "inference_ids": ["a12a19a9-a933-44c9-970c-a55ea03bb453"],
            "field_name": "camera_location",
            "field_value": "canada"
        },
        {
            "inference_ids": ["accf0af9-bdf0-4b22-8106-6988d4cada5a"],
            "field_name": "camera_location",
            "field_value": "emea"
        }
    ]
}'

हेडर्स:

नाम	मान
Content-Type	application/json

बॉडी:

नाम	प्रकार	विवरण
data	Array<Metadata>	{ "inference_ids": Array<string>; "field_name": string; "field_value": string; }

प्रतिक्रिया:

200

{
  "status": "ok"
}

400

{
  "error": "अमान्य अनुरोध"
}

Python का उपयोग करके उदाहरण:

import requests
from inference_sdk import InferenceHTTPClient

#### इन्हें बदलें
api_key = "YOUR_API_KEY"
workspace = "YOUR_WORKSPACE_ID"

#### डिफ़ॉल्ट मान
field_name = "test_field"
field_value = "test_value"
model_id = "coco/24"
image_path = "https://cdn.britannica.com/79/232779-050-6B0411D7/German-Shepherd-dog-Alsatian.jpg"
api_url = "https://serverless.roboflow.com"

#### क्लाइंट प्रारंभ करें
print("InferenceHTTPClient प्रारंभ किया जा रहा है...")
client = InferenceHTTPClient(api_url=api_url, api_key=api_key)

#### इनफ़ेरेंस चलाएँ
result = client.infer(image_path, model_id=model_id)
print("परिणाम:", result)

#### परिणाम से inference ID निकालें
inference_id = result.get('inference_id')
if inference_id:
    print("Inference ID:", inference_id)
अन्यथा:
    raise ValueError("प्रतिक्रिया में Inference ID नहीं मिली।")

url = f"https://api.roboflow.com/{workspace}/inference-stats/metadata"

#### POST अनुरोध के लिए हेडर्स और डेटा सेट करें
headers = {
    "Content-Type": "application/json"
}
data = {
    "api_key": api_key,
    "data": [
        {
            "inference_ids": [inference_id],
            "field_name": field_name,
            "field_value": field_value
        }
    ]
}

#### कस्टम मेटाडेटा संलग्न करने के लिए POST अनुरोध करें
response = requests.post(url, headers=headers, json=data)

#### प्रतिक्रिया स्थिति जाँचें
if response.status_code == 200:
    print("कस्टम मेटाडेटा सफलतापूर्वक संलग्न किया गया:", response.json())
अन्यथा:
    print("कस्टम मेटाडेटा संलग्न करने में विफल:", response.text)