Model Monitoring
Roboflow के साथ Model Monitoring के लिए एक guide।
Roboflow का Model Monitoring dashboard आपको आपके models में, prototyping से लेकर production तक, बेजोड़ visibility देता है। Model Monitoring के साथ, आप अपने models के समय के साथ प्रदर्शन की समझ पाने के लिए high-level statistics देख सकते हैं, या individual inference requests भी देख सकते हैं, ताकि यह समझ सकें कि आपके models edge cases पर कैसे प्रदर्शन करते हैं।
Model Monitoring को deprecated किया जाएगा और Vision Events से replace किया जाएगा। देखें Vision Events documentation अधिक जानकारी के लिए।
Model Monitoring तक पहुँच
Model Monitoring, Models page पर एक sub-tab है। इसे access करने के लिए, अपनी workspace navigation bar में "Models" dropdown खोलें और "Model Monitoring" चुनें, या सीधे Models page पर "Model Monitoring" tab पर जाएँ।
Workspace Dashboard
तुरंत, आपको अपने models से संबंधित तीन statistics दिखाई देंगे:
कुल requests: आपके workspace में सभी models पर किए गए inferences की कुल संख्या
Average confidence: आपके models द्वारा किए गए सभी predictions में औसत confidence।
Average inference time: सभी inferences में औसत inference time (predictions उत्पन्न करने में लगा समय, image preprocessing सहित)
% change values वर्तमान अवधि बनाम पिछली अवधि पर आधारित हैं। डिफ़ॉल्ट रूप से, ये statistics आपका डेटा पिछले सप्ताह के लिए दिखाएँगे। हालाँकि, आप statistics के ऊपर मौजूद buttons का उपयोग करके time range बदल सकते हैं।
Models table उन सभी models को दिखाती है जिन पर inferences हैं, और उन पर क्लिक करने से आप पहुँचेंगे Model Dashboard.
आप Recent Inferences (सभी models के across) और Alerts सेट करने.
Model Dashboard
Models tab के अंतर्गत, आप अपनी data देखने के लिए एक specific model चुन सकते हैं। वहाँ, आपको Workspace Overview जैसी ही statistics दिखेंगी, लेकिन एक model के लिए specific।
यहाँ, statistics के अलावा, आप model में प्रत्येक class के detections की संख्या देख सकते हैं, और अन्य classes के मुकाबले उसका distribution भी देख सकते हैं।
table के ऊपर दाईं ओर मौजूद "See All Inferences" button पर क्लिक करने से आप पहुँचेंगे Inferences Table.
Inferences Table
यहाँ, आप अपने model के सभी prediction results देख सकते हैं। इसके अलावा, आप अपनी inferences में जोड़ा गया कोई भी custom metadata भी देखेंगे। अपनी inferences का एक subset देखने के लिए, आप table के top-right में filters का उपयोग कर सकते हैं।
Inference Details
Inferences Table से, आप किसी specific inference में drill down करके अधिक details देख सकते हैं। आइए इसे इस image में दिखाए गए order के अनुसार समझते हैं:
Image: यहाँ, आप वह image देख सकते हैं जिस पर inference किया गया था। नोट: यह default रूप से enabled नहीं है। देखें Inference Images को Enable करना
Inference Details: इस panel पर, आप अपनी inference request के बारे में सभी details और properties देख सकते हैं। उपलब्ध सभी fields default रूप से दिखाई जाती हैं, लेकिन यदि आप कुछ छिपाना चाहते हैं, तो आप fields को hide करने के लिए top right corner में "Cog" icon पर क्लिक कर सकते हैं। (यह setting आपके browser में persist रहेगी)
कुछ fields पर, यदि उपलब्ध हो, तो उस field के आधार पर inferences खोजने का एक option होगा। highlighted example में, यह same model के inferences खोजेगा।
Detections: यह collapsable pane उस inference से प्राप्त detections की एक सूची दिखाता है। आप table के sort order को चुनने के लिए "Class" और "Confidence" table headers पर क्लिक कर सकते हैं।
Download & Link buttons: यहाँ, आप inference से जुड़ी image डाउनलोड कर सकते हैं या बाद के संदर्भ के लिए इस Inference Details का एक link copy कर सकते हैं।
Inference Images को Enable करना
Active Learning या Dataset Upload द्वारा सेव की गई images की गणना उसी तरह होगी जैसे आपने अपने project में image upload की हो। आपके plan type के अनुसार credit, limit या quota usage लागू हो सकता है।
Model Monitoring में inference images दिखाने के दो तरीके हैं:
Roboflow Dataset Upload block: Workflows में, आप एक "Roboflow Dataset Upload" block जोड़ सकते हैं। एक बार जब आप predictions और prediction image को hook up कर देते हैं, तो यह Model Monitoring में दिखाई देगा।
Active Learning: आप Active Learning rules को अपने Project से configure कर सकते हैं ताकि production inference images automatically collect हों।
Alerting
आप और आपकी team के अन्य members, जब आपके model के साथ issues या anomalies होती हैं, तो real-time alerts के लिए subscribe कर सकते हैं। उदाहरण के लिए, यदि आपके model का confidence अचानक कम हो जाता है, या आपका Inference Server down हो जाता है, और आपका model चलना बंद कर देता है, तो आपकी team को email notification प्राप्त होगा।
Alerting page पर अधिक जानकारी देखें:
AlertingCustom Metadata
किसी inference में अतिरिक्त metadata जोड़ने के लिए, आप Model Monitoring की custom metadata feature का उपयोग कर सकते हैं। custom metadata के साथ, आप किसी inference में जानकारी जोड़ सकते हैं जैसे image कहाँ ली गई थी, prediction का expected value, आदि। आपका custom metadata "Recent Inferences" और "All Inferences" views में दिखाई देगा।
किसी inference result में custom metadata जोड़ने के लिए, कृपया देखें Custom Metadata API documentation.
Model Monitoring API
automation और external systems में integration के लिए, आप model monitoring के लिए हमारे API.
Supported Deployments
Model Monitoring, Roboflow's Hosted API या Roboflow Inference Server का उपयोग करके किए गए inference requests को support करता है, बशर्ते Inference Server के पास internet access हो। इसमें edge deployments भी शामिल हैं जो Roboflow's License Server.
इस समय, Model Monitoring Inference Pipeline का उपयोग करके किए गए inference requests को support नहीं करता है, हालांकि हम निकट भविष्य में support जोड़ने की योजना बना रहे हैं।
अंतिम अपडेट
क्या यह उपयोगी था?