प्रशिक्षित मॉडल का मूल्यांकन करें

मॉडल मूल्यांकन दिखाते हैं:

1. एक प्रोडक्शन मेट्रिक्स एक्सप्लोरर, जो आपको अपने मॉडल को चलाने के लिए उपयुक्त कॉन्फिडेंस थ्रेशोल्ड खोजने में मदद करता है;

2. मॉडल सुधार सिफारिशें, जो आपके मॉडल की सटीकता बढ़ाने के लिए सुझाव देती हैं;

3. क्लास के अनुसार प्रदर्शन, जो दिखाता है कि आपका मॉडल विभिन्न क्लासों की कितनी अच्छी पहचान करता है;

4. एक कन्फ्यूजन मैट्रिक्स, जिसका उपयोग आप यह पता लगाने के लिए कर सकते हैं कि आपका मॉडल किन क्लासों में अच्छा करता है और किनमें संघर्ष करता है, और;

5. एक इंटरएक्टिव वेक्टर एक्सप्लोरर जो आपको उन इमेज क्लस्टर्स की पहचान करने देता है जहाँ आपका मॉडल अच्छा या खराब प्रदर्शन करता है;

आप मॉडल मूल्यांकन का उपयोग अपने मॉडल के सुधार के क्षेत्रों की पहचान करने के लिए कर सकते हैं।

मॉडल मूल्यांकन सभी पेड यूज़र्स द्वारा प्रशिक्षित मॉडलों के लिए स्वचालित रूप से चलाए जाते हैं। कुछ सौ इमेज वाले डेटासेट के लिए मूल्यांकन चलने में कई मिनट लग सकते हैं, और हजारों या अधिक इमेज वाले बड़े डेटासेट के लिए कई घंटे लग सकते हैं।

मॉडल मूल्यांकन खोलें

अपने मॉडल के लिए कन्फ्यूजन मैट्रिक्स और वेक्टर एक्सप्लोरर खोजने के लिए, अपने प्रोजेक्ट में किसी भी प्रशिक्षित मॉडल वर्शन को खोलें। फिर, "View Evaluation" बटन पर क्लिक करें:

एक विंडो खुलेगी जहाँ आप अपना कन्फ्यूजन मैट्रिक्स और वेक्टर विश्लेषण देख सकते हैं।

प्रोडक्शन मेट्रिक्स एक्सप्लोरर

प्रोडक्शन मेट्रिक्स एक्सप्लोरर आपके मॉडल के लिए सभी संभावित कॉन्फिडेंस थ्रेशोल्ड्स पर Precision, Recall, और F1 स्कोर दिखाता है। यह जानकारी एक ग्राफ पर प्रस्तुत की जाती है।

इन आंकड़ों का उपयोग करते हुए, प्रोडक्शन मेट्रिक्स एक्सप्लोरर एक "optimal confidence" की सिफारिश करेगा। यह वह थ्रेशोल्ड है जो आपको Precision/Recall/F1 स्कोर का सबसे अच्छा संतुलन देगा।

आप इस टूल का उपयोग अपने मॉडल के लिए प्रोडक्शन में सेट किए जाने वाले कॉन्फिडेंस थ्रेशोल्ड के बारे में निर्णय लेने में मदद के लिए कर सकते हैं।

आप स्लाइडर को ड्रैग करके विभिन्न कॉन्फिडेंस थ्रेशोल्ड्स पर F1/Precision/Recall मान देख सकते हैं:

मॉडल सुधार सिफारिशें

आपके मॉडल मूल्यांकन के मॉडल सुधार सिफारिशें अनुभाग में आपके मॉडल की सटीकता बढ़ाने के सुझाव सूचीबद्ध होते हैं। ये सुधार आपके मॉडल के साथ गणना किए गए कन्फ्यूजन मैट्रिक्स के परिणामों पर आधारित होते हैं। (अपने कन्फ्यूजन मैट्रिक्स के बारे में अधिक जानकारी इस पेज पर आगे देखें)।

मॉडल सुधार सिफारिशें फीचर निम्नलिखित से संबंधित सुझाव दे सकता है:

• ऐसे मॉडल को कैसे सुधारें जो कई false negatives की भविष्यवाणी करता है।

• ऐसे मॉडल को कैसे सुधारें जो कई false positives की भविष्यवाणी करता है।

• कौन सी क्लासें अक्सर भ्रमित (गलत पहचानी) होती हैं।

• कौन सी क्लासों को सटीकता सुधारने के लिए अधिक डेटा की आवश्यकता है।

• जब कोई टेस्ट या वेलिडेशन सेट बहुत छोटा हो सकता है।

• और भी बहुत कुछ।

क्लास के अनुसार प्रदर्शन

क्लास के अनुसार प्रदर्शन चार्ट दिखाता है कि आपके डेटासेट की सभी क्लासों में कितनी सही भविष्यवाणियाँ, गलत वर्गीकरण, false negatives, और false positives हैं।

आप इस जानकारी का उपयोग एक नजर में देख सकते हैं कि आपका मॉडल किन क्लासों की अच्छी पहचान करता है और किन क्लासों की पहचान करने में संघर्ष करता है।

यदि आपके डेटासेट में क्लासों की संख्या अधिक है, तो आप "All Classes" ड्रॉपडाउन खोलकर और जिन क्लासों को हाइलाइट करना है उन्हें चुनकर चार्ट को विशिष्ट क्लासों पर केंद्रित कर सकते हैं:

आप कॉन्फिडेंस थ्रेशोल्ड स्लाइडर को मूव करके देख सकते हैं कि विभिन्न कॉन्फिडेंस थ्रेशोल्ड्स पर यह चार्ट कैसे बदलता है:

डिफ़ॉल्ट रूप से, यह चार्ट हमारे द्वारा सुझाए गए optimal confidence threshold का उपयोग करेगा।

कन्फ्यूजन मैट्रिक्स

आपका कन्फ्यूजन मैट्रिक्स दिखाता है कि आपका मॉडल विभिन्न क्लासों पर कितना अच्छा प्रदर्शन करता है।

आपका कन्फ्यूजन मैट्रिक्स आपके टेस्ट और वेलिडेशन सेट्स की इमेज को आपके प्रशिक्षित मॉडल के साथ चलाकर गणना किया जाता है। फिर आपके मॉडल के परिणामों की तुलना आपके डेटासेट एनोटेशन के "ground truth" से की जाती है।

कन्फ्यूजन मैट्रिक्स टूल के साथ, आप पहचान सकते हैं:

• वे क्लासें जहाँ आपका मॉडल अच्छा प्रदर्शन करता है।

• वे क्लासें जहाँ आपका मॉडल किसी ऑब्जेक्ट के लिए गलत क्लास की पहचान करता है (false positives)।

• वे उदाहरण जहाँ आपका मॉडल किसी ऑब्जेक्ट की पहचान करता है जबकि वहाँ कोई मौजूद नहीं है (false negatives)।

यहाँ एक उदाहरण कन्फ्यूजन मैट्रिक्स है:

यदि आपका मॉडल कई क्लासों का पता लगाता है, तो स्क्रॉल बार दिखाई देंगे जो आपको अपने कन्फ्यूजन मैट्रिक्स में नेविगेट करने देते हैं।

डिफ़ॉल्ट रूप से, कन्फ्यूजन मैट्रिक्स दिखाता है कि आपके मॉडल के लिए गणना किए गए optimal threshold पर आपका मॉडल कैसा प्रदर्शन करता है।

आप Confidence Threshold स्लाइडर का उपयोग करके कॉन्फिडेंस थ्रेशोल्ड समायोजित कर सकते हैं। जैसे ही आप स्लाइडर को कॉन्फ़िगर करते हैं, आपका कन्फ्यूजन मैट्रिक्स, precision, और recall अपडेट हो जाएगा:

आप कन्फ्यूजन मैट्रिक्स में प्रत्येक बॉक्स पर क्लिक करके देख सकते हैं कि संबंधित श्रेणी में कौन सी इमेज दिखाई देती हैं।

उदाहरण के लिए, आप "False Positive" कॉलम में किसी भी बॉक्स पर क्लिक करके उन इमेज की पहचान कर सकते हैं जहाँ आपके ground truth डेटा में ऑब्जेक्ट मौजूद नहीं था लेकिन पहचान लिया गया।

आप किसी व्यक्तिगत इमेज पर क्लिक करके एक इंटरएक्टिव व्यू में जा सकते हैं जहाँ आप ground truth (आपके एनोटेशन) और मॉडल प्रेडिक्शंस के बीच टॉगल कर सकते हैं:

"Ground Truth" पर क्लिक करें अपने एनोटेशन देखने के लिए और "Model Predictions" पर क्लिक करें यह देखने के लिए कि आपके मॉडल ने क्या लौटाया।