मॉडल मॉनिटरिंग

Roboflow का Model Monitoring डैशबोर्ड आपको आपके मॉडलों में बेजोड़ दृश्यता देता है, प्रोटोटाइपिंग से लेकर प्रोडक्शन तक। Model Monitoring के साथ, आप उच्च-स्तरीय आंकड़े देख सकते हैं ताकि आप जान सकें कि आपके मॉडल समय के साथ कैसा प्रदर्शन कर रहे हैं, या आप व्यक्तिगत इनफेरेंस अनुरोध भी देख सकते हैं, ताकि आप देख सकें कि आपके मॉडल किन किन मामलों में कैसे प्रदर्शन कर रहे हैं।

Model Monitoring तक पहुँच

अपने Model Monitoring डैशबोर्ड को देखने के लिए, अपने workspace में "Monitoring" टैब पर क्लिक करें।

Workspace डैशबोर्ड

तुरंत, आप अपने मॉडलों से संबंधित तीन आंकड़े देखेंगे:

• कुल अनुरोध : आपके workspace में सभी मॉडलों के लिए किए गए कुल इनफेरेंस की संख्या

• औसत कॉन्फिडेंस: आपके मॉडलों द्वारा की गई सभी भविष्यवाणियों का औसत कॉन्फिडेंस।

• औसत इनफेरेंस समय : सभी इनफेरेंस का औसत इनफेरेंस समय (वो समय, सेकंड में, जिसमें भविष्यवाणी तैयार हुई, जिसमें इमेज प्रीप्रोसेसिंग भी शामिल है)

Models टेबल उन सभी मॉडलों को दिखाता है जिन पर इनफेरेंस हुए हैं और उन पर क्लिक करने से आप पहुँचेंगे Model डैशबोर्ड.

आप हाल की इनफेरेंस (सभी मॉडलों के लिए) देखने के लिए टैब्स भी एक्सेस कर सकते हैं और अलर्ट सेट करना.

Model डैशबोर्ड

Models टैब के तहत, आप किसी विशिष्ट मॉडल को चुन सकते हैं और उसका डेटा देख सकते हैं। वहाँ, आप Workspace Overview जैसे ही आंकड़े देखेंगे, लेकिन केवल उस एक मॉडल के लिए।

यहाँ, आंकड़ों के अलावा, आप मॉडल में प्रत्येक क्लास के लिए डिटेक्शन की संख्या देख सकते हैं, और अन्य क्लासेस के सापेक्ष उसका वितरण देख सकते हैं।

टेबल के ऊपर दाईं ओर "See All Inferences" बटन पर क्लिक करने से आप पहुँचेंगे Inferences टेबल.

Inferences टेबल

यहाँ, आप अपने मॉडल के लिए सभी भविष्यवाणी परिणाम देख सकते हैं। इसके अलावा, आप अपनी इनफेरेंस में जो भी कस्टम मेटाडेटा जोड़ा गया है, वह भी देख सकते हैं। अपनी इनफेरेंस का एक उपसमूह देखने के लिए, आप टेबल के ऊपर दाईं ओर दिए गए फ़िल्टर का उपयोग कर सकते हैं।

Inference विवरण

Inferences टेबल से, आप किसी विशिष्ट इनफेरेंस में गहराई से जा सकते हैं और अधिक विवरण देख सकते हैं। आइए इसे इस चित्र में दिखाए गए क्रम में समझें:

1. इमेज: यहाँ, आप वह इमेज देख सकते हैं जिस पर इनफेरेंस किया गया था। नोट: यह डिफ़ॉल्ट रूप से सक्षम नहीं है। देखें Inference Images सक्षम करना

2. Inference विवरण: इस पैनल पर, आप अपने इनफेरेंस अनुरोध के सभी विवरण और गुण देख सकते हैं। सभी उपलब्ध फ़ील्ड डिफ़ॉल्ट रूप से दिखाई जाती हैं, लेकिन यदि आप कुछ छुपाना चाहते हैं, तो आप ऊपर दाईं ओर "Cog" आइकन पर क्लिक करके फ़ील्ड छुपा सकते हैं। (यह सेटिंग आपके ब्राउज़र पर बनी रहेगी)

3. कुछ फ़ील्ड्स पर, यदि उपलब्ध हो, तो उस फ़ील्ड के आधार पर इनफेरेंस खोजने का विकल्प होगा। हाइलाइट किए गए उदाहरण में, यह उसी मॉडल से इनफेरेंस खोजेगा।

4. डिटेक्शन: यह संक्षिप्त पैन एक सूची दिखाता है जो उस इनफेरेंस से प्राप्त डिटेक्शन को दर्शाता है। आप "Class" और "Confidence" टेबल हेडर पर क्लिक करके टेबल के क्रम को चुन सकते हैं।

5. डाउनलोड और लिंक बटन: यहाँ, आप इनफेरेंस से जुड़ी इमेज डाउनलोड कर सकते हैं या इस Inference विवरण का लिंक कॉपी कर सकते हैं ताकि बाद में देख सकें।

Inference Images सक्षम करना

Model Monitoring में इनफेरेंस इमेज दिखाने के दो तरीके हैं:

• Roboflow Dataset Upload ब्लॉक: Workflows में, आप "Roboflow Dataset Upload" ब्लॉक जोड़ सकते हैं। एक बार जब आप prediction और prediction image को जोड़ देंगे, तो यह Model Monitoring में दिखेगा।

• Active Learning (legacy): पुराने workspaces के लिए, आप अपने प्रोजेक्ट के पेज से "Active Learning" नियम सक्षम कर सकते हैं:

Alerting

आप और आपकी टीम के अन्य सदस्य रियल-टाइम अलर्ट के लिए सब्सक्राइब कर सकते हैं जब आपके मॉडल में कोई समस्या या विसंगति आती है। उदाहरण के लिए, यदि आपके मॉडल का कॉन्फिडेंस अचानक कम हो जाता है, या आपका Inference Server डाउन हो जाता है, और आपका मॉडल चलना बंद कर देता है, तो आपकी टीम को ईमेल नोटिफिकेशन मिलेगा।

Alerting पेज पर और जानकारी देखें:

कस्टम मेटाडेटा

किसी इनफेरेंस में अतिरिक्त मेटाडेटा जोड़ने के लिए, आप Model Monitoring की कस्टम मेटाडेटा सुविधा का उपयोग कर सकते हैं। कस्टम मेटाडेटा का उपयोग करके, आप इनफेरेंस में जानकारी जोड़ सकते हैं जैसे कि इमेज कहाँ ली गई थी, prediction का अपेक्षित मान, आदि। आपका कस्टम मेटाडेटा "Recent Inferences" और "All Inferences" व्यू में दिखेगा।

इनफेरेंस परिणाम में कस्टम मेटाडेटा जोड़ने के लिए, कृपया देखें Custom Metadata API डॉक्यूमेंटेशन।

Model Monitoring API

स्वचालन और बाहरी सिस्टम में एकीकरण के लिए, आप Model Monitoring के आंकड़े प्राप्त कर सकते हैं हमारे model monitoring API से.

समर्थित डिप्लॉयमेंट्स

Model Monitoring, Roboflow के Hosted API या Roboflow Inference Server का उपयोग करके किए गए इनफेरेंस अनुरोधों का समर्थन करता है, बशर्ते Inference Server के पास इंटरनेट एक्सेस हो। इसमें वे edge deployments भी शामिल हैं जो Roboflow के License Server.