Evaluate Trained Models

Model Evaluation का उपयोग करके देखें कि आपका मॉडल आपके टेस्ट डेटासेट पर कैसे प्रदर्शन करता है।

मॉडल मूल्यांकन दिखाते हैं:

1. एक production metrics explorer, जो आपको उस सर्वश्रेष्ठ confidence threshold को खोजने में मदद करता है जिस पर आप अपना मॉडल चलाएँ;

2. Model improvement recommendations, जो आपको सुझाव देते हैं कि आप अपने मॉडल की सटीकता कैसे बढ़ा सकते हैं;

3. Performance by class, जो दिखाता है कि आपका मॉडल विभिन्न वर्गों की पहचान कितनी अच्छी तरह करता है;

4. एक confusion matrix, जिसका उपयोग आप उन विशिष्ट वर्गों को खोजने के लिए कर सकते हैं जिन पर आपका मॉडल अच्छा या कमजोर प्रदर्शन करता है, और;

5. एक interactive vector explorer जो आपको उन छवियों के क्लस्टर पहचानने देता है जहाँ आपका मॉडल अच्छा या खराब प्रदर्शन करता है;

आप अपने मॉडल के सुधार के क्षेत्रों की पहचान करने के लिए मॉडल मूल्यांकन का उपयोग कर सकते हैं।

मॉडल मूल्यांकन उन सभी versioned मॉडलों के लिए स्वचालित रूप से चलाए जाते हैं जिन्हें paid users द्वारा Roboflow पर प्रशिक्षित या अपलोड किया गया है। कुछ सौ छवियों के डेटासेट के लिए एक मूल्यांकन चलने में कई मिनट लग सकते हैं, और हजारों या उससे अधिक छवियों वाले बड़े डेटासेट के लिए कई घंटे लग सकते हैं।

Open Model Evaluation

अपने मॉडल के लिए confusion matrix और vector explorer खोजने के लिए, अपने प्रोजेक्ट में किसी भी प्रशिक्षित मॉडल वर्जन को खोलें। फिर, "View Evaluation" बटन पर क्लिक करें:

एक विंडो खुलेगी जहाँ आप अपना confusion matrix और vector analysis देख सकते हैं।

Production Metrics Explorer

production metrics explorer आपके मॉडल के लिए सभी संभव confidence thresholds पर Precision, Recall, और F1 स्कोर दिखाता है। यह जानकारी एक ग्राफ पर प्रस्तुत की जाती है।

इन सांख्यिकियों का उपयोग करते हुए, production metrics explorer एक "optimal confidence" की सिफारिश करेगा। यह वह थ्रेशोल्ड है जो आपको सबसे अच्छा Precision/Recall/F1 Score trade-off देगा।

आप इस टूल का उपयोग यह तय करने में कर सकते हैं कि प्रोडक्शन में अपने मॉडल के लिए कौन सा confidence threshold सेट करना है।

आप स्लाइडर खींचकर विभिन्न confidence thresholds पर F1/Precision/Recall मान देख सकते हैं:

Model Improvement Recommendations

आपके मॉडल मूल्यांकन का model improvement recommendations सेक्शन उन सुझावों की सूची देता है कि आप अपने मॉडल की सटीकता कैसे बढ़ा सकते हैं। ये सुधार आपके मॉडल से गणना किए गए confusion matrix के परिणामों पर आधारित हैं। (इस पृष्ठ पर बाद में अपनी confusion matrix के बारे में और जानकारी देखें)।

model improvement recommendations फीचर निम्न से संबंधित सुझाव दे सकता है:

• कैसे एक ऐसे मॉडल को सुधारना है जो कई false negatives भविष्यवाणी करता है।

• कैसे एक ऐसे मॉडल को सुधारना है जो कई false positives भविष्यवाणी करता है।

• कौन से क्लास अक्सर भ्रमित होते हैं (गलत पहचाने जाते हैं)।

• कौन से क्लास की सटीकता सुधारने के लिए अधिक डेटा की आवश्यकता है।

• कब कोई टेस्ट या validation सेट बहुत छोटा हो सकता है।

• और भी बहुत कुछ।

Performance by Class

performance by class चार्ट दिखाता है कि आपके डेटासेट के सभी क्लासों में कितनी सही भविष्यवाणियाँ, misclassifications, false negatives, और false positives हैं।

आप इस जानकारी का उपयोग यह देखने के लिए कर सकते हैं, एक नज़र में, कि कौन से क्लास आपके मॉडल द्वारा अच्छी तरह पहचाने जा रहे हैं और कौन से क्लास मॉडल के लिए पहचानना मुश्किल हैं।

यदि आपके डेटासेट में क्लासों की संख्या अधिक है, तो आप "All Classes" ड्रॉपडाउन खोलकर और उन्हें चुनकर चार्ट को विशिष्ट क्लासों पर केंद्रित कर सकते हैं जिन्हें आप हाइलाइट करना चाहते हैं:

आप Confidence Threshold स्लाइडर को स्थानांतरित करके देख सकते हैं कि यह चार्ट विभिन्न confidence thresholds पर कैसे बदलता है:

डिफ़ॉल्ट रूप से, यह चार्ट उस optimal confidence threshold का उपयोग करेगा जिसकी हम सिफारिश करते हैं।

Confusion Matrix

आपका confusion matrix दिखाता है कि आपका मॉडल विभिन्न क्लासों पर कितना अच्छा प्रदर्शन करता है।

आपका confusion matrix आपके प्रशिक्षित मॉडल के साथ आपके test और validation सेट्स की छवियों को चलाकर गणना किया जाता है। उसके बाद आपके मॉडल के परिणामों की तुलना आपके डेटासेट annotations से मिले "ground truth" से की जाती है।

confusion matrix टूल के साथ, आप पहचान सकते हैं:

• वे क्लास जहाँ आपका मॉडल अच्छा प्रदर्शन करता है।

• वे क्लास जहाँ आपका मॉडल किसी ऑब्जेक्ट के लिए गलत क्लास पहचानता है (false positives)।

• ऐसे उदाहरण जहाँ आपका मॉडल एक ऑब्जेक्ट पहचानता है जबकि वहाँ कोई ऑब्जेक्ट नहीं है (false negatives)।

यहाँ एक उदाहरण confusion matrix है:

यदि आपका मॉडल कई क्लास का पता लगाता है, तो scroll bars दिखाई देंगी जो आपको आपके confusion matrix में नेविगेट करने देती हैं।

डिफ़ॉल्ट रूप से, confusion matrix दिखाती है कि आपका मॉडल उस optimal threshold पर कैसे प्रदर्शन करता है जो आपके मॉडल के लिए गणना किया गया है।

आप Confidence Threshold स्लाइडर का उपयोग करके confidence threshold समायोजित कर सकते हैं। जैसे ही आप स्लाइडर को कॉन्फ़िगर करेंगे, आपका confusion matrix, precision, और recall अपडेट होंगे:

आप confusion matrix में प्रत्येक बॉक्स पर क्लिक करके देख सकते हैं कि संबंधित श्रेणी में कौन सी छवियाँ दिखाई देती हैं।

उदाहरण के लिए, आप "False Positive" कॉलम में किसी भी बॉक्स पर क्लिक करके उन छवियों की पहचान कर सकते हैं जहाँ आपके ground truth डेटा में मौजूद न होने पर कोई ऑब्जेक्ट पहचाना गया था।

आप किसी व्यक्तिगत छवि पर क्लिक करके एक interactive view में प्रवेश कर सकते हैं जहाँ आप ground truth (आपकी annotations) और model predictions के बीच टॉगल कर सकते हैं:

अपनी annotations देखने के लिए "Ground Truth" पर क्लिक करें और यह देखने के लिए कि आपके मॉडल ने क्या लौटाया, "Model Predictions" पर क्लिक करें।