प्रशिक्षित मॉडल का मूल्यांकन करें

Model evaluations दिखाते हैं:

1. एक Production Metrics Explorer, जो आपको वह इष्टतम confidence threshold खोजने में मदद करता है जिस पर आप अपना मॉडल चलाएँ;

2. Model improvement recommendations, जो यह सुझाव प्रदान करते हैं कि आप अपने मॉडल की सटीकता कैसे बढ़ा सकते हैं;

3. Performance by Class, जो दिखाता है कि आपका मॉडल अलग-अलग क्लासेस को कितनी अच्छी तरह पहचानता है;

4. एक Confusion Matrix, जिसका उपयोग आप उन विशिष्ट क्लासेस को खोजने के लिए कर सकते हैं जिन पर आपका मॉडल अच्छा करता है और जिन पर उसे कठिनाई होती है, और;

5. एक इंटरएक्टिव vector explorer जो आपको उन छवियों के क्लस्टर्स की पहचान करने देता है जहाँ आपका मॉडल अच्छा या कमजोर प्रदर्शन करता है;

आप अपने मॉडल के लिए सुधार के क्षेत्रों की पहचान करने हेतु Model Evaluation का उपयोग कर सकते हैं.

Model evaluations पेड उपयोगकर्ताओं द्वारा Roboflow पर प्रशिक्षित या अपलोड किए गए सभी versioned models के लिए स्वतः चलाए जाते हैं. कुछ सौ छवियों वाले डेटासेट के लिए एक evaluation चलने में कुछ मिनट लग सकते हैं, और हजारों या अधिक छवियों वाले बड़े डेटासेट के लिए कई घंटे लग सकते हैं.

Open Model Evaluation

अपने मॉडल के लिए Confusion Matrix और vector explorer खोजने के लिए, अपने Project में किसी भी trained model version को खोलें. फिर, "View Evaluation" बटन पर क्लिक करें:

एक विंडो खुलेगी जहाँ आप अपनी Confusion Matrix और vector analysis देख सकते हैं.

Production Metrics Explorer

production metrics explorer आपके मॉडल के लिए सभी संभावित confidence thresholds पर Precision, Recall, और F1 score दिखाता है. यह जानकारी एक ग्राफ़ पर प्रस्तुत की जाती है.

इन आँकड़ों का उपयोग करके, production metrics explorer एक "optimal confidence" की अनुशंसा करेगा. यह वह threshold है जो आपको सर्वोत्तम Precision/Recall/F1 Score trade-off देगा.

आप इस टूल का उपयोग production में अपने मॉडल के लिए सेट किए जाने वाले confidence threshold को निर्धारित करने में सहायता के लिए कर सकते हैं.

आप स्लाइडर को ड्रैग करके अलग-अलग confidence thresholds पर F1/Precision/Recall मान देख सकते हैं:

Model Improvement Recommendations

आपके Model Evaluation के model improvement recommendations सेक्शन में यह सुझाव सूचीबद्ध होते हैं कि आप अपने मॉडल की सटीकता कैसे बढ़ा सकते हैं. ये सुधार आपके मॉडल के साथ गणना की गई Confusion Matrix के परिणामों पर आधारित हैं. (अपनी Confusion Matrix पर अधिक जानकारी के लिए इस पेज में आगे देखें).

model improvement recommendations फ़ीचर निम्नलिखित से संबंधित सुझाव दे सकता है:

• ऐसे मॉडल को कैसे बेहतर करें जो बहुत सारे झूठे नकारात्मक (false negatives) प्रेडिक्ट करता है.

• ऐसे मॉडल को कैसे बेहतर करें जो बहुत सारे झूठे सकारात्मक (false positives) प्रेडिक्ट करता है.

• कौन-सी क्लासेस अक्सर भ्रमित (गलत पहचानी) होती हैं.

• किन क्लासेस को सटीकता बढ़ाने के लिए अधिक डेटा की आवश्यकता है.

• कब कोई test या validation सेट बहुत छोटा हो सकता है.

• और भी.

Performance by Class

Performance by Class चार्ट दिखाता है कि आपके डेटासेट की सभी क्लासेस में कितनी सही भविष्यवाणियाँ, गलत वर्गीकरण, झूठे नकारात्मक, और झूठे सकारात्मक हैं.

आप इस जानकारी का उपयोग करके एक नज़र में देख सकते हैं कि किन क्लासेस को आपका मॉडल अच्छी तरह पहचान सकता है और उन क्लासेस को जिनकी पहचान करने में हमारा मॉडल संघर्ष करता है.

यदि आपके डेटासेट में क्लासेस की संख्या बड़ी है, तो आप "All Classes" ड्रॉपडाउन खोलकर और जिन क्लासेस को आप हाइलाइट करना चाहते हैं उन्हें चुनकर चार्ट को विशिष्ट क्लासेस पर फोकस कर सकते हैं:

आप Confidence Threshold स्लाइडर को मूव करके यह भी देख सकते हैं कि अलग-अलग confidence thresholds पर यह चार्ट कैसे बदलता है:

डिफ़ॉल्ट रूप से, यह चार्ट हमारे द्वारा अनुशंसित optimal confidence threshold का उपयोग करेगा.

Confusion Matrix

आपकी Confusion Matrix दिखाती है कि आपका मॉडल अलग-अलग क्लासेस पर कितना अच्छा प्रदर्शन करता है.

आपकी Confusion Matrix आपके test और validation सेट्स की छवियों को अपने trained model के साथ चलाकर गणना की जाती है. फिर आपके मॉडल के परिणामों की तुलना आपके डेटासेट annotations के "ground truth" से की जाती है.

Confusion Matrix टूल के साथ, आप पहचान सकते हैं:

• वे क्लासेस जहाँ आपका मॉडल अच्छा प्रदर्शन करता है.

• वे क्लासेस जहाँ आपका मॉडल किसी ऑब्जेक्ट के लिए गलत क्लास पहचानता है (झूठे सकारात्मक).

• वे उदाहरण जहाँ आपका मॉडल किसी ऑब्जेक्ट की पहचान करता है जबकि कोई मौजूद नहीं है (झूठे नकारात्मक).

यहाँ एक उदाहरण Confusion Matrix है:

यदि आपका मॉडल कई क्लासेस का पता लगाता है, तो स्क्रॉल बार्स दिखाई देंगे जो आपको अपनी Confusion Matrix में नेविगेट करने देते हैं.

डिफ़ॉल्ट रूप से, Confusion Matrix दिखाती है कि जब इसे आपके मॉडल के लिए गणना किए गए optimal threshold पर चलाया जाता है तो आपका मॉडल कैसा प्रदर्शन करता है.

आप Confidence Threshold स्लाइडर का उपयोग करके confidence threshold समायोजित कर सकते हैं. जैसे ही आप स्लाइडर कॉन्फ़िगर करते हैं, आपकी Confusion Matrix, precision, और recall अपडेट हो जाएँगे:

आप Confusion Matrix में प्रत्येक बॉक्स पर क्लिक करके देख सकते हैं कि संबंधित श्रेणी में कौन-सी छवियाँ दिखाई देती हैं.

उदाहरण के लिए, आप "False Positive" कॉलम में किसी भी बॉक्स पर क्लिक करके उन छवियों की पहचान कर सकते हैं जहाँ आपके ground truth डेटा में मौजूद न होने पर भी किसी ऑब्जेक्ट की पहचान की गई थी.

आप किसी एकल छवि पर क्लिक करके एक इंटरएक्टिव दृश्य में जा सकते हैं जहाँ आप ground truth (आपके annotations) और model predictions के बीच टॉगल कर सकते हैं:

"Ground Truth" पर क्लिक करें ताकि आप अपने annotations देखें और "Model Predictions" पर क्लिक करें ताकि आप देखें कि आपके मॉडल ने क्या लौटाया.