प्रशिक्षित मॉडलों का मूल्यांकन करें

Model Evaluation का उपयोग करके जांचें कि आपका मॉडल आपके टेस्ट dataset पर कैसे प्रदर्शन करता है।

मॉडल का मूल्यांकन दिखाता है:

1. एक Production Metrics Explorer, जो आपको यह पता लगाने में मदद करता है कि अपने मॉडल को किस confidence threshold पर चलाना सबसे अच्छा है;

2. Model Improvement Recommendations, जो यह सुझाव देते हैं कि आप अपने मॉडल की सटीकता कैसे बढ़ा सकते हैं;

3. प्रति-क्लास प्रदर्शन, जो दिखाता है कि आपका मॉडल विभिन्न क्लासों की पहचान कितनी अच्छी तरह करता है;

4. एक confusion matrix, जिसका उपयोग आप उन विशिष्ट क्लासों को खोजने के लिए कर सकते हैं जिन पर आपका मॉडल अच्छा या खराब प्रदर्शन करता है, और;

5. एक interactive vector explorer जो आपको उन इमेज क्लस्टरों की पहचान करने देता है जहाँ आपका मॉडल अच्छा या खराब प्रदर्शन करता है;

आप मॉडल मूल्यांकन का उपयोग अपने मॉडल के सुधार के क्षेत्रों की पहचान करने के लिए कर सकते हैं।

Model evaluations को स्वचालित रूप से उन सभी versioned मॉडलों के लिए चलाया जाता है जिन्हें paid उपयोगकर्ताओं द्वारा Roboflow पर train या upload किया गया है। कुछ सौ इमेजेस वाले dataset के लिए evaluation चलने में कई मिनट लग सकते हैं, और हजारों या अधिक इमेज वाले बड़े datasets के लिए कई घंटे लग सकते हैं।

Open Model Evaluation

अपने मॉडल के लिए confusion matrix और vector explorer खोजने के लिए, अपनी project में किसी भी trained model version को खोलें। फिर, "View Evaluation" बटन पर क्लिक करें:

एक विंडो खुलेगी जहाँ आप अपना confusion matrix और vector analysis देख सकते हैं।

Production Metrics Explorer

Production metrics explorer आपके मॉडल के लिए सभी संभावित confidence thresholds पर Precision, Recall, और F1 स्कोर दिखाता है। यह जानकारी एक ग्राफ पर प्रस्तुत की जाती है।

इन आंकड़ों का उपयोग करके, production metrics explorer एक "optimal confidence" की सिफारिश करेगा। यह वह threshold है जो Precision/Recall/F1 Score के बीच सबसे अच्छा trade-off देगा।

आप इस टूल का उपयोग यह तय करने में कर सकते हैं कि production में अपने मॉडल के लिए किस confidence threshold को सेट किया जाए।

आप स्लाइडर को खींचकर विभिन्न confidence thresholds पर F1/Precision/Recall मान देख सकते हैं:

Model Improvement Recommendations

आपके मॉडल मूल्यांकन का model improvement recommendations सेक्शन उन सुझावों की सूची देता है जिनसे आप अपने मॉडल की सटीकता बढ़ा सकते हैं। ये सुधार आपके मॉडल से गणना किए गए confusion matrix के परिणामों पर आधारित हैं। (इस पृष्ठ पर बाद में अपने confusion matrix के बारे में अधिक जानकारी देखें)।

Model improvement recommendations फीचर निम्न से संबंधित सुझाव दे सकता है:

• किस तरह किसी मॉडल को सुधारें जो कई false negatives predict कर रहा है।

• किस तरह किसी मॉडल को सुधारें जो कई false positives predict कर रहा है।

• कौन से क्लास अक्सर confuse होते हैं (गलत पहचान होते हैं)।

• कौन से क्लासों को सटीकता बढ़ाने के लिए अधिक डेटा की जरूरत है।

• कब टेस्ट या validation सेट बहुत छोटा हो सकता है।

• और भी।

प्रति-क्लास प्रदर्शन

प्रति-क्लास प्रदर्शन चार्ट दिखाता है कि आपके dataset में सभी क्लासों में कितनी सही भविष्यवाणियाँ, misclassifications, false negatives, और false positives हैं।

आप इस जानकारी का उपयोग यह देखने के लिए कर सकते हैं, एक नज़र में, कि कौन से क्लास आपके मॉडल द्वारा अच्छी तरह पहचाने जाते हैं और किन क्लासों की पहचान में हमारे मॉडल को कठिनाई होती है।

यदि आपके dataset में बहुत सारे क्लास हैं, तो आप "All Classes" ड्रॉपडाउन खोलकर और उन क्लासों का चयन करके चार्ट को विशिष्ट क्लासों पर केंद्रित कर सकते हैं जिन्हें आप हाइलाइट करना चाहते हैं:

आप Confidence Threshold स्लाइडर को घुमाकर देख सकते हैं कि यह चार्ट विभिन्न confidence thresholds पर कैसे बदलता है:

डिफ़ॉल्ट रूप से, यह चार्ट उस optimal confidence threshold का उपयोग करेगा जिसकी हम सिफारिश करते हैं।

Confusion Matrix

आपका confusion matrix दिखाता है कि आपका मॉडल विभिन्न क्लासों पर कितना अच्छा प्रदर्शन करता है।

आपका confusion matrix आपके test और validation सेट्स की इमेजेस को आपके trained model के साथ चलाकर गणना किया जाता है। आपके मॉडल के परिणामों की तुलना फिर आपके dataset annotations के "ground truth" से की जाती है।

Confusion matrix टूल से, आप पहचान कर सकते हैं:

• वे क्लास जिन पर आपका मॉडल अच्छा प्रदर्शन करता है।

• वे क्लास जिन पर आपका मॉडल किसी ऑब्जेक्ट के लिए गलत क्लास पहचानता है (false positives)।

• ऐसे उदाहरण जहाँ आपका मॉडल किसी ऑब्जेक्ट की पहचान करता है जबकि वास्तविकता में कोई ऑब्जेक्ट मौजूद नहीं है (false negatives)।

यहाँ एक उदाहरण confusion matrix है:

यदि आपका मॉडल कई क्लास पहचानता है, तो scroll bars दिखाई देंगी जो आपको आपका confusion matrix नेविगेट करने देंगी।

डिफ़ॉल्ट रूप से, confusion matrix दिखाता है कि आपका मॉडल उस optimal threshold पर कैसे प्रदर्शन करता है जो आपके मॉडल के लिए गणना किया गया है।

आप Confidence Threshold स्लाइडर का उपयोग कर threshold समायोजित कर सकते हैं। जैसे ही आप स्लाइडर को कॉन्फ़िगर करते हैं, आपका confusion matrix, precision, और recall अपडेट हो जाएगा:

आप confusion matrix में प्रत्येक बॉक्स पर क्लिक करके देख सकते हैं कि संबंधित श्रेणी में कौन सी इमेजेस दिखाई देती हैं।

उदाहरण के लिए, आप "False Positive" कॉलम में किसी भी बॉक्स पर क्लिक कर सकते हैं ताकि उन इमेजेस की पहचान की जा सके जहाँ आपके ground truth डेटा में कोई ऑब्जेक्ट मौजूद नहीं था पर मॉडल ने एक ऑब्जेक्ट पहचान लिया।

आप किसी व्यक्तिगत इमेज पर क्लिक करके एक interactive view में प्रवेश कर सकते हैं जहाँ आप ground truth (आपकी annotations) और model predictions के बीच टॉगल कर सकते हैं:

"Ground Truth" पर क्लिक करें अपनी annotations देखने के लिए और "Model Predictions" पर क्लिक करें यह देखने के लिए कि आपका मॉडल क्या वापस लौटा।