मॉडल मॉनिटरिंग

Roboflow के साथ Model Monitoring के लिए एक गाइड।

Roboflow का Model Monitoring डैशबोर्ड आपको प्रोटोटाइप से लेकर प्रोडक्शन तक अपने मॉडल्स की अभूतपूर्व दृश्यता देता है। Model Monitoring के साथ, आप उच्च-स्तरीय आँकड़े देख सकते हैं ताकि समय के साथ आपके मॉडल्स का प्रदर्शन कैसा रहा, इस पर अंतर्दृष्टि मिल सके, या यहां तक कि व्यक्तिगत inference अनुरोधों को देखकर यह देख सकें कि आपके मॉडल किन edge मामलों पर कैसे प्रदर्शन करते हैं।

Model Monitoring तक पहुँच

Model Monitoring केवल चयनित प्लान्स के लिए उपलब्ध है। नवीनतम जानकारी के लिए, देखें हमारा Pricing page

अपने Model Monitoring डैशबोर्ड को देखने के लिए, अपने workspace में "Monitoring" टैब पर क्लिक करें।

Workspace Dashboard

तुरंत, आप अपने मॉडलों से संबंधित तीन आँकड़े देखेंगे:

• कुल अनुरोध: आपके workspace के सभी मॉडलों पर किए गए कुल इनफेरेंस की संख्या

• औसत भरोसा: आपके मॉडलों द्वारा किए गए सभी प्रेडिक्शंस के पार औसत confidence।

• औसत inference समय: सभी इनफेरेंस के पार औसत inference समय (उस समय में सेकंड शामिल हैं जो प्रेडिक्शंस उत्पन्न करने में लगा, जिसमें इमेज प्रीप्रोसेसिंग भी शामिल है)

% परिवर्तन मान वर्तमान अवधि बनाम पिछली अवधि पर आधारित हैं। डिफ़ॉल्ट रूप से, ये आँकड़े आपको पिछले सप्ताह के लिए आपका डेटा दिखाएंगे। हालाँकि, आप समय सीमा को आँकड़ों के ऊपर स्थित बटनों का उपयोग करके बदल सकते हैं।

Models तालिका उन सभी मॉडलों को दिखाती है जिनपर इनफेरेंस किए गए हैं और उनपर क्लिक करने से आप Model Dashboard.

पर पहुँच जाते हैं। आप साथ ही Recent Inferences (सभी मॉडलों के across) और अलर्ट सेट करने.

Model Dashboard

के टैब भी एक्सेस कर सकते हैं। Models टैब के अंतर्गत, आप किसी विशिष्ट मॉडल को चुनकर उसके डेटा को देख सकते हैं। वहां आप Workspace Overview जैसे ही आँकड़े देखेंगे, लेकिन एक मॉडल के लिए विशिष्ट।

यहाँ, आँकड़ों के अतिरिक्त, आप मॉडल में प्रत्येक क्लास के लिए detections की संख्या देख सकते हैं, और अन्य क्लासेस के सापेक्ष उसकी वितरण देख सकते हैं।

तालिका के ऊपरी दाएँ हिस्से में स्थित "See All Inferences" बटन पर क्लिक करने से आप Inferences Table.

Inferences Table

पर नेविगेट हो जाएंगे। यहाँ, आप अपने मॉडल के सभी प्रेडिक्शन परिणाम देख सकते हैं। इसके अतिरिक्त, आप अपने इनफेरेंस में जो कोई भी कस्टम मेटाडेटा जोड़ा गया है, वह भी देखेंगे। अपने इनफेरेंस का एक उपसमुच्चय देखने के लिए, आप तालिका के ऊपर-दाएँ कोने में फ़िल्टर का उपयोग कर सकते हैं।

Inference विवरण

Inferences Table से, आप किसी विशिष्ट inference में गहराई से जाकर अधिक विवरण देख सकते हैं। आइए इसे इस छवि में दिखाए क्रम के अनुसार विभाजित करें:

1. छवि: यहाँ, आप वह छवि देख सकते हैं जिसपर inference किया गया था। नोट: यह डिफ़ॉल्ट रूप से सक्षम नहीं है। देखें Enabling Inference Images

2. Inference विवरण: इस पैनल पर, आप अपने inference अनुरोध के सभी विवरण और गुण देख सकते हैं। सभी उपलब्ध फ़ील्ड डिफ़ॉल्ट रूप से दिखाई जाती हैं, लेकिन यदि आप कुछ छिपाना चाहते हैं, तो आप फ़ील्ड छिपाने के लिए ऊपरी दाएँ कोने में स्थित "Cog" आइकन पर क्लिक कर सकते हैं। (यह सेटिंग आपके ब्राउज़र पर स्थायी रहेगी)

3. कुछ फ़ील्ड्स पर, यदि उपलब्ध हो, तो उस फ़ील्ड के आधार पर इनफेरेंस खोजने का विकल्प होगा। हाइलाइट किए गए उदाहरण पर, यह उसी मॉडल से इनफेरेंस खोजेगा।

4. डिटेक्शंस: यह collapsable पैन केंद्र उस inference से प्राप्त डिटेक्शंस की सूची दिखाता है। आप तालिका के "Class" और "Confidence" हेडरों पर क्लिक करके तालिका के सॉर्ट क्रम को चुन सकते हैं।

5. डाउनलोड और लिंक बटन: यहाँ, आप inference से संबंधित छवि डाउनलोड कर सकते हैं या बाद के संदर्भ के लिए इस Inference विवरण का लिंक कॉपी कर सकते हैं।

Enabling Inference Images

Active Learning या Dataset Upload द्वारा सहेजी गई छवियाँ आपके प्रोजेक्ट में एक छवि अपलोड करने के समान गिनी जाएँगी। क्रेडिट, सीमा या कोटा उपयोग आपके प्लान प्रकार के अनुसार लागू हो सकता है।

Model Monitoring में inference images को दिखाने के दो तरीके हैं:

• Roboflow Dataset Upload ब्लॉक: Workflows में, आप एक "Roboflow Dataset Upload" ब्लॉक जोड़ सकते हैं। एक बार जब आप predictions और prediction image को हुक कर देंगे, तो यह Model Monitoring में दिखेगा।

• Active Learning (लेगेसी): लेगेसी workspaces के लिए, आप अपने प्रोजेक्ट के पेज से "Active Learning" नियम सक्षम कर सकते हैं:

अलर्टिंग

आप और आपकी टीम के अन्य सदस्य रीयल-टाइम अलर्ट्स के लिए सब्सक्राइब कर सकते हैं जब आपके मॉडल में मुद्दे या अनियमितताएँ उत्पन्न हों। उदाहरण के लिए, यदि आपके मॉडल का confidence अचानक घट जाता है, या आपका Inference Server डाउन हो जाता है और आपका मॉडल चलना बंद कर देता है, तो आपकी टीम को ईमेल नोटिफिकेशन प्राप्त होगा।

अलर्टिंग पेज पर अधिक जानकारी देखें:

अलर्टिंग

कस्टम मेटाडेटा

किसी इनफेरेंस से अतिरिक्त मेटाडेटा संलग्न करने के लिए, आप Model Monitoring की कस्टम मेटाडेटा सुविधा का उपयोग कर सकते हैं। कस्टम मेटाडेटा का उपयोग करके, आप किसी इनफेरेंस में ऐसी जानकारी जोड़ सकते हैं जैसे कि छवि कहाँ ली गई थी इसका स्थान, प्रेडिक्शन का अपेक्षित मान, आदि। आपका कस्टम मेटाडेटा "Recent Inferences" और "All Inferences" दृश्य में दिखेगा।

किसी इनफेरेंस परिणाम से कस्टम मेटाडेटा संलग्न करने के लिए, कृपया देखें Custom Metadata API प्रलेखन।

Model Monitoring API

स्वचालन और बाहरी सिस्टम्स में एकीकरण के लिए, आप Model Monitoring आँकड़े खींचने के लिए उपयोग कर सकते हैं हमारी API for model monitoring.

समर्थित डिप्लॉयमेंट्स

Model Monitoring उन इनफेरेंस अनुरोधों का समर्थन करता है जो Roboflow के Hosted API या Roboflow Inference Server का उपयोग करके किए गए हैं, बशर्ते Inference Server के पास इंटरनेट एक्सेस हो। इसमें edge deployments भी शामिल हैं जो Roboflow के License Server.

इस समय, Model Monitoring उन इनफेरेंस अनुरोधों का समर्थन नहीं करता जो Inference Pipeline का उपयोग करके किए गए हों, हालांकि हम निकट भविष्य में समर्थन जोड़ने की योजना बना रहे हैं।