Trained Models का मूल्यांकन करें

Model Evaluation का उपयोग करके देखें कि आपका model अपने test dataset पर कैसा प्रदर्शन करता है।

मॉडल मूल्यांकन दिखाते हैं:

1. एक production metrics explorer, जो आपको वह optimal confidence threshold खोजने में मदद करता है जिस पर आप अपना मॉडल चला सकते हैं;

2. मॉडल सुधार अनुशंसाएँ, जो इस बारे में सुझाव देती हैं कि आप अपने मॉडल की accuracy कैसे बढ़ा सकते हैं;

3. class के अनुसार performance, जो दिखाती है कि आपका मॉडल विभिन्न classes की पहचान कितनी अच्छी तरह करता है;

4. एक confusion matrix, जिसका उपयोग आप उन specific classes को खोजने के लिए कर सकते हैं जिनमें आपका मॉडल अच्छा करता है और जिनमें उसे संघर्ष होता है, और;

5. एक interactive vector explorer, जो आपको images के उन clusters की पहचान करने देता है जहाँ आपका मॉडल अच्छा या खराब करता है;

आप अपने मॉडल के लिए सुधार के क्षेत्रों की पहचान करने के लिए model evaluation का उपयोग कर सकते हैं.

Paid users द्वारा Roboflow में trained on, या uploaded किए गए सभी versioned models के लिए model evaluations automatically run किए जाते हैं। कुछ सौ images वाले dataset के लिए evaluation चलने में कई मिनट लग सकते हैं, और हज़ारों या उससे अधिक images वाले बड़े datasets के लिए कई घंटे लग सकते हैं।

Model Evaluation खोलें

अपने मॉडल के लिए confusion matrix और vector explorer खोजने के लिए, अपने project में किसी भी trained model version को खोलें। फिर, "View Evaluation" button पर click करें:

एक window खुलेगी जहाँ आप अपनी confusion matrix और vector analysis देख सकते हैं.

Production Metrics Explorer

production metrics explorer आपके मॉडल के लिए सभी संभव confidence thresholds पर Precision, Recall, और F1 score दिखाता है। यह जानकारी एक graph पर प्रस्तुत की जाती है।

इन statistics का उपयोग करके, production metrics explorer एक "optimal confidence" की अनुशंसा करेगा। यह वह threshold है जो आपको Precision/Recall/F1 Score का सबसे अच्छा trade-off देगा।

एक बार model evaluation पूरा हो जाने पर, optimal confidence threshold आपके मॉडल के inference requests के लिए default के रूप में automatically लागू हो जाता है। यदि per-class thresholds उपलब्ध हैं, तो वे भी लागू किए जाते हैं, और किसी भी class के लिए जिसका अपना value नहीं है, global threshold fallback के रूप में उपयोग होता है.

आप फिर भी किसी individual inference request पर confidence threshold override कर सकते हैं, इसके लिए confidence parameter को explicitly पास करें।

आप slider को drag करके अलग-अलग confidence thresholds पर F1/Precision/Recall values देख सकते हैं:

Model Improvement Recommendations

आपके model evaluation का model improvement recommendations section इस बारे में सुझाव सूचीबद्ध करता है कि आप अपने मॉडल की accuracy कैसे बढ़ा सकते हैं। ये सुधार आपके model के साथ calculated confusion matrix के results पर आधारित होते हैं। (इस पृष्ठ पर आगे अपनी confusion matrix के बारे में अधिक जानकारी देखें).

model improvement recommendations feature निम्न से संबंधित सुझाव दे सकता है:

• ऐसे model को कैसे सुधारें जो बहुत सारे false negatives predict करता है।

• ऐसे model को कैसे सुधारें जो बहुत सारे false positives predict करता है।

• कौन-सी classes अक्सर confused (गलत पहचानी) जाती हैं।

• कौन-सी classes को accuracy सुधारने के लिए अधिक data की आवश्यकता है।

• जब test या validation set बहुत छोटा हो सकता है।

• और भी.

Performance by Class

performance by class chart दिखाता है कि आपके dataset की सभी classes में कितनी सही predictions, misclassifications, false negatives, और false positives हैं।

आप इस जानकारी का उपयोग एक नज़र में यह देखने के लिए कर सकते हैं कि आपका मॉडल किन classes को अच्छी तरह पहचान सकता है और किन classes की पहचान करने में हमारा model संघर्ष करता है।

यदि आपके dataset में classes की संख्या बहुत अधिक है, तो आप "All Classes" dropdown खोलकर और जिन classes को आप highlight करना चाहते हैं उन्हें चुनकर chart को specific classes पर focus कर सकते हैं:

आप Confidence Threshold slider को move करके यह भी देख सकते हैं कि अलग-अलग confidence thresholds पर यह chart कैसे बदलता है:

डिफ़ॉल्ट रूप से, यह chart उस optimal confidence threshold का उपयोग करेगा जिसकी हम अनुशंसा करते हैं।

Confusion Matrix

आपकी confusion matrix दिखाती है कि आपका मॉडल विभिन्न classes पर कितना अच्छा प्रदर्शन करता है।

आपकी confusion matrix आपके test और validation sets की images को आपके trained model के साथ चलाकर calculated की जाती है। फिर आपके model के results की तुलना आपके dataset annotations से "ground truth" के साथ की जाती है।

confusion matrix tool के साथ, आप पहचान सकते हैं:

• वे classes जहाँ आपका model अच्छा प्रदर्शन करता है।

• वे classes जहाँ आपका model किसी object के लिए गलत class पहचानता है (false positives)।

• वे instances जहाँ आपका model किसी object की पहचान करता है जबकि ground truth data में वहाँ कोई object मौजूद नहीं होता (false negatives)।

यहाँ एक उदाहरण confusion matrix है:

यदि आपका model कई classes detect करता है, तो scroll bars दिखाई देंगी जो आपको अपनी confusion matrix में navigate करने देंगी।

डिफ़ॉल्ट रूप से, confusion matrix यह दिखाती है कि आपका model तब कैसा प्रदर्शन करता है जब उसे आपके model के लिए calculated optimal threshold पर चलाया जाता है।

आप Confidence Threshold slider का उपयोग करके confidence threshold समायोजित कर सकते हैं। जैसे-जैसे आप slider configure करेंगे, आपकी confusion matrix, precision, और recall update होंगे:

आप confusion matrix में प्रत्येक box पर click करके देख सकते हैं कि संबंधित category में कौन-सी images दिखाई देती हैं।

उदाहरण के लिए, आप "False Positive" column में किसी भी box पर click करके उन images की पहचान कर सकते हैं जहाँ ground truth data में वस्तु मौजूद न होने पर भी वस्तु की पहचान की गई थी।

आप किसी individual image पर click करके एक interactive view में प्रवेश कर सकते हैं, जहाँ आप ground truth (आपकी annotations) और model predictions के बीच toggle कर सकते हैं:

अपनी annotations देखने के लिए "Ground Truth" पर click करें और आपका model क्या लौटाता है यह देखने के लिए "Model Predictions" पर click करें।