प्रशिक्षित मॉडल का मूल्यांकन करें

मॉडल मूल्यांकन दिखाते हैं:

1. एक प्रोडक्शन मेट्रिक्स एक्सप्लोरर, जो आपको अपने मॉडल को चलाने के लिए सर्वोत्तम कॉन्फिडेंस थ्रेशोल्ड खोजने में मदद करता है;

2. मॉडल सुधार सिफारिशें, जो यह सुझाव देती हैं कि आप अपने मॉडल की सटीकता कैसे बढ़ा सकते हैं;

3. क्लास के अनुसार प्रदर्शन, जो दिखाता है कि आपका मॉडल विभिन्न वर्गों की कितनी अच्छी पहचान करता है;

4. एक कन्फ्यूजन मैट्रिक्स, जिसका उपयोग आप यह पता लगाने के लिए कर सकते हैं कि आपके मॉडल को किन विशेष वर्गों में सफलता या कठिनाई होती है, और;

5. एक इंटरएक्टिव वेक्टर एक्सप्लोरर जो आपको उन छवियों के क्लस्टर की पहचान करने देता है जहाँ आपका मॉडल अच्छा या खराब प्रदर्शन करता है;

आप मॉडल मूल्यांकन का उपयोग अपने मॉडल के सुधार के क्षेत्रों की पहचान करने के लिए कर सकते हैं।

मॉडल मूल्यांकन स्वचालित रूप से सभी भुगतान किए गए उपयोगकर्ताओं द्वारा प्रशिक्षित मॉडलों के लिए चलाए जाते हैं। कुछ सौ छवियों के डेटासेट के लिए मूल्यांकन चलाने में कई मिनट लग सकते हैं, और हजारों या अधिक छवियों वाले बड़े डेटासेट के लिए कई घंटे लग सकते हैं।

मॉडल मूल्यांकन खोलें

अपने मॉडल के लिए कन्फ्यूजन मैट्रिक्स और वेक्टर एक्सप्लोरर खोजने के लिए, अपने प्रोजेक्ट में किसी भी प्रशिक्षित मॉडल संस्करण को खोलें। फिर, "मूल्यांकन देखें" बटन पर क्लिक करें:

एक विंडो खुलेगी जहाँ आप अपना कन्फ्यूजन मैट्रिक्स और वेक्टर विश्लेषण देख सकते हैं।

प्रोडक्शन मेट्रिक्स एक्सप्लोरर

प्रोडक्शन मेट्रिक्स एक्सप्लोरर आपके मॉडल के लिए सभी संभावित कॉन्फिडेंस थ्रेशोल्ड पर प्रिसिजन, रिकॉल और F1 स्कोर दिखाता है। यह जानकारी एक ग्राफ पर प्रस्तुत की जाती है।

इन आंकड़ों का उपयोग करके, प्रोडक्शन मेट्रिक्स एक्सप्लोरर एक "सर्वोत्तम कॉन्फिडेंस" की सिफारिश करेगा। यह वह थ्रेशोल्ड है जो आपको प्रिसिजन/रिकॉल/F1 स्कोर का सबसे अच्छा संतुलन देगा।

आप इस टूल का उपयोग अपने मॉडल के लिए प्रोडक्शन में सेट किए गए कॉन्फिडेंस थ्रेशोल्ड को निर्धारित करने में मदद के लिए कर सकते हैं।

आप स्लाइडर को खींचकर विभिन्न कॉन्फिडेंस थ्रेशोल्ड पर F1/प्रिसिजन/रिकॉल मान देख सकते हैं:

मॉडल सुधार सिफारिशें

आपके मॉडल मूल्यांकन का मॉडल सुधार सिफारिशें अनुभाग यह सुझाव देता है कि आप अपने मॉडल की सटीकता कैसे बढ़ा सकते हैं। ये सुधार आपके मॉडल के साथ गणना किए गए कन्फ्यूजन मैट्रिक्स के परिणामों पर आधारित हैं। (इस पृष्ठ पर आगे अपने कन्फ्यूजन मैट्रिक्स के बारे में अधिक जानकारी देखें)।

मॉडल सुधार सिफारिशें सुविधा निम्नलिखित से संबंधित सुझाव दे सकती है:

• ऐसे मॉडल को कैसे सुधारें जो कई फॉल्स नेगेटिव्स की भविष्यवाणी करता है।

• ऐसे मॉडल को कैसे सुधारें जो कई फॉल्स पॉजिटिव्स की भविष्यवाणी करता है।

• कौन से वर्ग अक्सर भ्रमित (गलत पहचाने गए) होते हैं।

• कौन से वर्गों को सटीकता सुधारने के लिए अधिक डेटा की आवश्यकता है।

• कब कोई टेस्ट या वैलिडेशन सेट बहुत छोटा हो सकता है।

• और भी बहुत कुछ।

क्लास के अनुसार प्रदर्शन

क्लास के अनुसार प्रदर्शन चार्ट दिखाता है कि आपके डेटासेट में सभी वर्गों में कितनी सही भविष्यवाणियाँ, गलत वर्गीकरण, फॉल्स नेगेटिव्स और फॉल्स पॉजिटिव्स हैं।

आप इस जानकारी का उपयोग एक नजर में देख सकते हैं कि आपके मॉडल कौन से वर्ग अच्छी तरह पहचान सकते हैं और किन वर्गों की पहचान में हमारे मॉडल को कठिनाई होती है।

यदि आपके डेटासेट में वर्गों की संख्या अधिक है, तो आप "सभी वर्ग" ड्रॉपडाउन खोलकर और जिन वर्गों को आप हाइलाइट करना चाहते हैं उन्हें चुनकर चार्ट को विशिष्ट वर्गों पर केंद्रित कर सकते हैं:

आप यह भी देख सकते हैं कि यह चार्ट विभिन्न कॉन्फिडेंस थ्रेशोल्ड पर कैसे बदलता है, कॉन्फिडेंस थ्रेशोल्ड स्लाइडर को घुमाकर:

डिफ़ॉल्ट रूप से, यह चार्ट हमारे द्वारा सुझाए गए सर्वोत्तम कॉन्फिडेंस थ्रेशोल्ड का उपयोग करेगा।

कन्फ्यूजन मैट्रिक्स

आपका कन्फ्यूजन मैट्रिक्स दिखाता है कि आपका मॉडल विभिन्न वर्गों पर कितना अच्छा प्रदर्शन करता है।

आपका कन्फ्यूजन मैट्रिक्स आपके टेस्ट और वैलिडेशन सेट्स की छवियों को आपके प्रशिक्षित मॉडल के साथ चलाकर गणना किया जाता है। आपके मॉडल के परिणामों की तुलना आपके डेटासेट एनोटेशन के "ग्राउंड ट्रुथ" से की जाती है।

कन्फ्यूजन मैट्रिक्स टूल के साथ, आप पहचान सकते हैं:

• वे वर्ग जहाँ आपका मॉडल अच्छा प्रदर्शन करता है।

• वे वर्ग जहाँ आपका मॉडल किसी वस्तु के लिए गलत वर्ग की पहचान करता है (फॉल्स पॉजिटिव्स)।

• वे उदाहरण जहाँ आपका मॉडल किसी वस्तु की पहचान करता है जबकि वहाँ कोई मौजूद नहीं है (फॉल्स नेगेटिव्स)।

यहाँ एक उदाहरण कन्फ्यूजन मैट्रिक्स है:

यदि आपका मॉडल कई वर्गों का पता लगाता है, तो स्क्रॉल बार दिखाई देंगे जो आपको अपने कन्फ्यूजन मैट्रिक्स में नेविगेट करने देंगे।

डिफ़ॉल्ट रूप से, कन्फ्यूजन मैट्रिक्स दिखाता है कि आपके मॉडल के लिए गणना किए गए सर्वोत्तम थ्रेशोल्ड पर आपका मॉडल कैसा प्रदर्शन करता है।

आप कॉन्फिडेंस थ्रेशोल्ड स्लाइडर का उपयोग करके कॉन्फिडेंस थ्रेशोल्ड समायोजित कर सकते हैं। जैसे ही आप स्लाइडर को कॉन्फ़िगर करते हैं, आपका कन्फ्यूजन मैट्रिक्स, प्रिसिजन और रिकॉल अपडेट हो जाएंगे:

आप कन्फ्यूजन मैट्रिक्स में प्रत्येक बॉक्स पर क्लिक करके देख सकते हैं कि संबंधित श्रेणी में कौन सी छवियाँ आती हैं।

उदाहरण के लिए, आप "फॉल्स पॉजिटिव" कॉलम में किसी भी बॉक्स पर क्लिक करके उन छवियों की पहचान कर सकते हैं जहाँ एक वस्तु की पहचान की गई थी जबकि आपके ग्राउंड ट्रुथ डेटा में वह मौजूद नहीं थी।

आप किसी व्यक्तिगत छवि पर क्लिक करके एक इंटरएक्टिव दृश्य में प्रवेश कर सकते हैं जहाँ आप ग्राउंड ट्रुथ (आपकी एनोटेशन) और मॉडल भविष्यवाणियों के बीच टॉगल कर सकते हैं:

"ग्राउंड ट्रुथ" पर क्लिक करें अपनी एनोटेशन देखने के लिए और "मॉडल भविष्यवाणियाँ" पर क्लिक करें यह देखने के लिए कि आपके मॉडल ने क्या लौटाया।