> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/monitoring-and-analytics/model-monitoring.md).

# Model Monitoring

Roboflow के साथ Model Monitoring के लिए एक मार्गदर्शिका।

## परिचय

Roboflow का Model Monitoring डैशबोर्ड दिखाता है कि प्रोटोटाइप बनाने से लेकर प्रोडक्शन तक आपके मॉडल कैसा प्रदर्शन करते हैं। आप समय के साथ उच्च-स्तरीय आँकड़े देख सकते हैं या अलग-अलग इन्फ़रेंस अनुरोध खोलकर यह देख सकते हैं कि आपके मॉडल असामान्य स्थितियों को कैसे संभालते हैं।

{% hint style="info" %}
Model Monitoring को बंद करके उसकी जगह Vision Events शुरू किया जाएगा। अधिक जानकारी के लिए देखें [Vision Events का दस्तावेज़](https://docs.roboflow.com/deployment/hi/monitoring-and-analytics/vision-events.md) ।
{% endhint %}

Model Monitoring, Roboflow के Cloud API या Roboflow Inference Server से किए गए इन्फ़रेंस अनुरोधों को रिकॉर्ड करता है, बशर्ते Inference Server के पास इंटरनेट की पहुँच हो। इसमें Roboflow के [License Server](https://blog.roboflow.com/roboflow-license-server/).

का उपयोग करने वाले एज डिप्लॉयमेंट भी शामिल हैं। आप किसी इन्फ़रेंस के साथ कस्टम मेटाडेटा जोड़ सकते हैं (उदाहरण के लिए, इमेज कहाँ ली गई थी या अपेक्षित प्रेडिक्शन क्या था) और Model Monitoring के आँकड़े अन्य सिस्टम में प्राप्त कर सकते हैं। दोनों के लिए [HTTP API](#http-api).

का उपयोग होता है। जब कुछ गड़बड़ हो (उदाहरण के लिए, आपके मॉडल का कॉन्फ़िडेंस अचानक घट जाए या Inference Server बंद हो जाए और आपका मॉडल चलना बंद कर दे), तो आप और आपकी टीम ईमेल अलर्ट पाने के लिए सदस्यता ले सकते हैं।

{% content-ref url="/pages/6afb282d58833df4e700416778ad8991287a22f5" %}
[अलर्टिंग](https://docs.roboflow.com/deployment/hi/monitoring-and-analytics/model-monitoring/alerting.md)
{% endcontent-ref %}

### इन्फ़रेंस इमेज

Model Monitoring डिफ़ॉल्ट रूप से इन्फ़रेंस इमेज सेव नहीं करता। इन्हें सेव करने के दो तरीके हैं:

* Roboflow Dataset Upload ब्लॉक: किसी Workflow में "Roboflow Dataset Upload" ब्लॉक जोड़ें और उसे प्रेडिक्शन तथा प्रेडिक्शन इमेज से कनेक्ट करें।

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-2e0fe2213137512f9d235bb38ecce7c3463998ef%2Fimage%20(367).png?alt=media" alt="" width="151"><figcaption></figcaption></figure>

* Active Learning: अपने प्रोजेक्ट में [Active Learning](https://docs.roboflow.com/deployment/hi/monitoring-and-analytics/active-learning.md) नियम कॉन्फ़िगर करें, ताकि प्रोडक्शन इन्फ़रेंस इमेज अपने-आप एकत्र की जा सकें।

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-2dd831a903dc127197efcec47e81026339de962c%2Fimage%20(327).png?alt=media" alt="" width="198"><figcaption></figcaption></figure>

{% hint style="info" %}
Active Learning या Dataset Upload से सेव की गई इमेज, आपके प्रोजेक्ट में इमेज अपलोड करने के समान ही मानी जाती हैं। आपके प्लान के प्रकार के अनुसार क्रेडिट, सीमा या कोटा लागू हो सकता है।
{% endhint %}

## वेब ऐप

अपने Workspace नेविगेशन में "Models" ड्रॉपडाउन खोलें और "Model Monitoring" चुनें।

डैशबोर्ड सभी मॉडल के कुल अनुरोध, औसत कॉन्फ़िडेंस और औसत इन्फ़रेंस समय दिखाता है। इन्फ़रेंस समय में इमेज की प्रीप्रोसेसिंग शामिल है। हर % परिवर्तन, चुनी गई समयावधि की तुलना उससे ठीक पहले की अवधि से करता है। डिफ़ॉल्ट समयावधि पिछला सप्ताह है।

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-00a88ae4ffc0ffb5c7cc150479aec32f8dc2c12d%2Fimage%20(324).png?alt=media" alt=""><figcaption></figcaption></figure>

Models तालिका उन सभी मॉडल की सूची देती है जिनके इन्फ़रेंस हुए हैं। किसी मॉडल पर क्लिक करके उस मॉडल के यही आँकड़े और हर क्लास के डिटेक्शन की संख्या देखें। अन्य टैब में सभी मॉडल के हाल के इन्फ़रेंस और आपके [अलर्ट](https://docs.roboflow.com/deployment/hi/monitoring-and-analytics/model-monitoring/alerting.md).

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-ecac74de3be1e2b8edb1a48dd17c3a89edf86155%2Fimage%20(326).png?alt=media" alt=""><figcaption></figcaption></figure>

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-0baf9cb0b75c74c2b341606235b7b5cd89bd9e59%2FScreenshot%202024-05-23%20at%2020.44.57.png?alt=media" alt=""><figcaption></figcaption></figure>

देखे जा सकते हैं। Inferences तालिका खोलने के लिए "See All Inferences" पर क्लिक करें। इसमें हर इन्फ़रेंस का कस्टम मेटाडेटा भी दिखता है।

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-c0e48d4b2d25fea504b7eb38ecfc3a0ce664c5b5%2FScreenshot%202024-05-23%20at%2020.50.13.png?alt=media" alt=""><figcaption></figcaption></figure>

किसी इन्फ़रेंस पर क्लिक करके उसकी इमेज, अनुरोध का विवरण और डिटेक्शन देखें। इमेज केवल तभी दिखती है, जब आप [इन्फ़रेंस इमेज सेव](#inference-images)करते हैं। विवरण पैनल में छिपाए गए फ़ील्ड उस ब्राउज़र में छिपे ही रहते हैं।

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-ce546fe2b1798e05122b3de07944b699094213fc%2Fimage%20(366).png?alt=media" alt=""><figcaption></figcaption></figure>

## HTTP API

### इन्फ़रेंस के आँकड़े प्राप्त करें

किसी समयावधि के दौरान अपने Workspace के मॉडल के इन्फ़रेंस की संख्या, कॉन्फ़िडेंस और इन्फ़रेंस समय प्राप्त करें। साथ में, उससे पहले की समान अवधि के आँकड़े भी मिलते हैं। यही डेटा डैशबोर्ड के कुल आँकड़ों और % परिवर्तनों के पीछे है। यह Enterprise प्लान पर उपलब्ध है और हर API key से प्रति मिनट 50 अनुरोध किए जा सकते हैं।

{% openapi src="/files/2d856f206e767631b7fc947b0d68ce03a81a68d2" path="/{workspace}/inference-stats" method="get" %}
[model-monitoring.yaml](https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-9f71481b5404c01cb2719571b4904eafff241bd9%2Fmodel-monitoring.yaml?alt=media)
{% endopenapi %}

### इन्फ़रेंस के साथ मेटाडेटा जोड़ें

Serverless और Inference Server के जवाबों में `inference_id`शामिल होता है। डैशबोर्ड में फ़िल्टर और ग्रुप करने योग्य मेटाडेटा जोड़ने के लिए इसे फ़ील्ड के नाम और मान के साथ भेजें (उदाहरण के लिए, कैमरे की जगह या प्रोडक्शन लाइन)। फ़ील्ड के नाम अक्षर-केस के प्रति संवेदनशील होते हैं, इसलिए उनकी वर्तनी हमेशा एक जैसी रखें।

{% openapi src="/files/2d856f206e767631b7fc947b0d68ce03a81a68d2" path="/{workspace}/inference-stats/metadata" method="post" %}
[model-monitoring.yaml](https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-9f71481b5404c01cb2719571b4904eafff241bd9%2Fmodel-monitoring.yaml?alt=media)
{% endopenapi %}

यह उदाहरण Serverless पर इन्फ़रेंस चलाकर उसके साथ एक जगह जोड़ता है:

```python
import requests
from inference_sdk import InferenceHTTPClient

api_key = "YOUR_API_KEY"
workspace = "YOUR_WORKSPACE_ID"

client = InferenceHTTPClient(api_url="https://serverless.roboflow.com", api_key=api_key)
result = client.infer("https://media.roboflow.com/inference/people-walking.jpg", model_id="coco/24")

response = requests.post(
    f"https://api.roboflow.com/{workspace}/inference-stats/metadata",
    headers={"Authorization": f"Bearer {api_key}"},
    json={
        "data": [
            {
                "inference_ids": [result["inference_id"]],
                "field_name": "camera_location",
                "field_value": "canada",
            }
        ]
    },
)
print(response.json())
```
