एनोटेशन इनसाइट्स

तिथि, लेबलर और प्रोजेक्ट के अनुसार एनोटेशन इनसाइट्स देखें।

के बारे में

Annotation Insights एक प्रीमियम विशेषता।

हमारी योजनाओं और उनसे संबंधित विशेषताओं की नवीनतम जानकारी के लिए, देखें हमारा मूल्य निर्धारण पृष्ठ.

Annotation Insights एक वर्कस्पेस में प्रोजेक्ट्स के लिए एनोटेशन जॉब्स पर आँकड़े दिखाते हैं। आप तारीख, लेबलर और प्रोजेक्ट के अनुसार इनसाइट्स देख सकते हैं।

उदाहरण के लिए, आप यह जान सकते हैं:

1. किसी ने दिए गए समय-सीमा में कितनी छवियाँ एनोटेट कीं;

2. रिव्यू चरण के दौरान कितनी अस्वीकृति घटनाएँ हुईं, जिनमें बाद में स्वीकृत की गई छवियाँ भी शामिल हैं;

3. समीक्षित छवियों के लिए प्रथम-पास स्वीकृति दर (वह प्रतिशत जो बिना कभी अस्वीकार हुए स्वीकृत हुआ);

4. किसी प्रोजेक्ट के लिए कितने बाउंडिंग बॉक्स बनाए गए;

5. कितनी छवियाँ मॉडल-सहायता से थीं या null के रूप में चिह्नित की गई थीं;

6. लेबलिंग में बिताया गया समय, और भी बहुत कुछ.

वेब ऐप

Annotation Insights देखें

Annotation Insights देखने के लिए, Roboflow साइडबार में "सेटिंग्स", फिर "उपयोगकर्ताओं का प्रबंधन":

फिर, "Annotation Insights" पर क्लिक करें:

फिर आपको Annotation Insights डैशबोर्ड पर ले जाया जाएगा:

डैशबोर्ड पर, आप दिए गए समय-अवधि में बनाए गए, अपडेट किए गए और हटाए गए एनोटेशनों की संख्या की समेकित जानकारी देख सकते हैं। आप प्रोजेक्ट के अनुसार विभाजन भी देख सकते हैं।

लेबलर आँकड़े

डैशबोर्ड तालिका एनोटेशन गतिविधि को प्रत्येक लेबलर और प्रोजेक्ट के अनुसार विभाजित करती है.

कॉलम	विवरण
"लेबल की गई छवियाँ"	लेबलर द्वारा एनोटेट की गई छवियाँ, जिनमें वे छवियाँ भी शामिल हैं जिन्हें बिना ऑब्जेक्ट वाली चिह्नित किया गया है। जिस दिन किसी छवि पर काम किया गया, वह उस दिन के लिए एक बार गिनी जाती है।
"विशिष्ट लेबल की गई छवियाँ"	तारीख-सीमा में लेबलर द्वारा एनोटेट की गई अलग-अलग छवियाँ, जिन्हें इस बात की परवाह किए बिना एक बार गिना जाता है कि उन पर कितने दिन काम किया गया। 1 अगस्त, 2023 से पहले की तारीख-सीमाओं के लिए नहीं दिखाया जाता।
"शुद्ध एनोटेशन"	जोड़े गए एनोटेशन माइनस हटाए गए एनोटेशन.
"कुल जोड़े गए एनोटेशन", "कुल हटाए गए एनोटेशन", "कुल अपडेट किए गए एनोटेशन"	लेबलर द्वारा किए गए एनोटेशन परिवर्तनों की गिनती।
"मॉडल-सहायता प्राप्त"	मॉडल-सहायता प्राप्त लेबलिंग का उपयोग करके लेबलर द्वारा एनोटेट की गई छवियाँ.
"null के रूप में चिह्नित"	लेबलर द्वारा बिना ऑब्जेक्ट वाली चिह्नित की गई छवियाँ.

जब वर्कस्पेस के लिए एनोटेशन रिव्यू सक्षम होता है, तो तालिका रिव्यू आँकड़े भी दिखाती है:

कॉलम	विवरण
"स्वीकृत"	रिव्यू के दौरान स्वीकृत छवियाँ.
"अस्वीकृत"	अस्वीकृति घटनाओं की कुल संख्या। हर अस्वीकृति गिनी जाती है, जिनमें बाद में सुधारी गई और स्वीकृत की गई छवियाँ भी शामिल हैं।
"स्वीकृति दर"	प्रथम-पास स्वीकृति, यानी समीक्षित छवियों का वह प्रतिशत जो बिना कभी अस्वीकार हुए स्वीकृत हुईं। जो छवि अस्वीकार की गई और बाद में स्वीकृत हुई, उसे प्रथम-पास स्वीकृति में नहीं गिना जाता।

"अस्वीकृत" अस्वीकृति घटनाओं की गिनती करता है, न कि वर्तमान में अस्वीकृत अवस्था वाली छवियों की। जो छवि अस्वीकार की गई, सुधारी गई और फिर से स्वीकृत हुई, वह भी कुल में जुड़ती है, इसलिए यह गिनती हर बार दिखाती है जब काम संशोधन के लिए वापस भेजा जाता है।

फ़िल्टरिंग और निर्यात

आप परिणामों को इन आधारों पर फ़िल्टर कर सकते हैं:

• तारीख-सीमा

• प्रोजेक्ट

• लेबलर (या तो पूरी टीम, या चयनित सदस्य)

आप परिणामों को CSV के रूप में भी निर्यात कर सकते हैं।

HTTP एपीआई

Annotation Insights

Roboflow आपके वर्कस्पेस और प्रोजेक्ट्स से जुड़े एनोटेशनों पर आँकड़े प्रदान करता है। आप Roboflow डैशबोर्ड और REST API के माध्यम से annotation insights देख सकते हैं।

1 अगस्त, 2023 को हमने एनोटेशन मीट्रिक्स को ट्रैक करने के तरीके में सुधार किया। Annotation Insights v2 endpoint 1 अगस्त, 2023 और उसके बाद के एनोटेशन डेटा प्रदान करता है।

REST API

किसी वर्कस्पेस के लिए annotation insights प्राप्त करने हेतु, निम्न endpoint पर GET अनुरोध करें:

https://api.roboflow.com/${WORKSPACE}/stats

यह endpoint निम्न URL पैरामीटर स्वीकार करता है:

पैरामीटर	विवरण	आवश्यक
api_key	API प्रमाणीकरण	हाँ
startDate	प्रारंभ तिथि YYYY-MM-DD फ़ॉर्मेट में। डेटा उपलब्ध है 2023-08-01 से आगे तक।	हाँ
endDate	समाप्ति तिथि YYYY-MM-DD फ़ॉर्मेट में।	हाँ
प्रोजेक्ट	परिणामों को फ़िल्टर करने के लिए प्रोजेक्ट स्लग (डेटासेट URL)।	वैकल्पिक
userId	परिणामों को फ़िल्टर करने के लिए यूज़र ID।	वैकल्पिक

उदाहरण प्रतिक्रिया:

{
    "data": [
        {
            "approved": 73,
            "boxesDrawn": 127,
            "imagesLabeled": 73,
            "uniqueImagesLabeled": 70,
            "projectId": "projectId123",
            "projectName": "मेरा CV प्रोजेक्ट",
            "markedNull": 8,
            "modelAssisted": 1,
            "rejected": 2,
            "labelerId": "labelerId123",
            "workspaceId": "workspaceId123",
            "approvalRate": 97.26
        },
        {
            "approved": 0,
            "boxesDrawn": 10,
            "imagesLabeled": 5,
            "uniqueImagesLabeled": 5,
            "projectId": "projectId123",
            "projectName": "मेरा CV प्रोजेक्ट",
            "markedNull": 0,
            "modelAssisted": 0,
            "rejected": 0,
            "labelerId": "labelerId456",
            "workspaceId": "workspaceId123",
            "approvalRate": null
        }
    ],
    "labelers": [
        {
            "displayName": "लेनी",
            "email": "[e-mail]",
            "id": "labelerId123"
        },
        {
            "displayName": "डाना",
            "email": "[e-mail]",
            "id": "labelerId456"
        }
    ],
    "stats": {
        "numImagesLabeled": 78,
        "numBoxesDrawn": 137,
        "numImagesMarkedNull": 8,
        "totalImagesUsingModelAssist": 1,
        "approvalRate": 97.26
    }
}

Annotation Insights डेटा संरचना

यह endpoint निम्न संरचना के साथ एक payload लौटाता है:

• data: प्रोजेक्ट के अनुसार समूहीकृत प्रति-लेबलर मेट्रिक्स। प्रत्येक ऑब्जेक्ट एक लेबलर की किसी एक प्रोजेक्ट पर गतिविधि दर्शाता है।

  • projectId: प्रोजेक्ट की ID (से session.datasetId).

  • projectName: प्रोजेक्ट का नाम, इसके माध्यम से हल किया गया getProjectsByIds.

  • projectType: प्रोजेक्ट का प्रकार (जैसे, "object-detection").

  • labelerId: लेबलर की विशिष्ट ID।

  • workspaceId: उस वर्कस्पेस की ID जिससे यह सत्र संबंधित है।

  • imagesLabeled: उन छवियों की संख्या जिनमें लेबलर ने एनोटेशन बनाए, संपादित किए, हटाए, या उन्हें null चिह्नित किया। सत्र के अनुसार गिना जाता है, इसलिए कई दिनों तक काम की गई छवि एक से अधिक बार गिनी जाती है।

  • uniqueImagesLabeled: यही संख्या, जिसमें प्रत्येक छवि को पूरी तारीख-सीमा में केवल एक बार गिना जाता है।

  • boxesDrawn: बनाए गए एनोटेशनों की शुद्ध संख्या (बराबर है boxesAdded - boxesRemoved).

  • markedNull: लेबलर द्वारा स्पष्ट रूप से null चिह्नित की गई छवियों की संख्या।

  • modelAssisted: उन छवियों की संख्या जिनमें मॉडल सहायता का उपयोग किया गया।

  • approved: स्वीकृत की गई छवियों की संख्या।

  • rejected: इस लेबलर/प्रोजेक्ट संयोजन के लिए अस्वीकृति घटनाओं की संख्या। प्रत्येक अस्वीकृति को स्वतंत्र रूप से गिना जाता है, भले ही छवि बाद में स्वीकृत हो गई हो।

  • approvalRate: प्रथम-पास स्वीकृति दर - समीक्षित छवियों का वह प्रतिशत जो बिना कभी अस्वीकार हुए स्वीकृत हुईं। लौटाता है null जब कोई छवि समीक्षा के लिए नहीं आई थी।

  • netBoxesAdded: प्रत्येक सत्र में बनाए गए नए बॉक्सों की कुल संख्या (नीचे नोट देखें)

  • netBoxesUpdated: वर्तमान में इसके बराबर है boxesUpdated (संगति के लिए शामिल).

  • boxesAdded: बनाए गए एनोटेशनों की कुल संख्या।

  • boxesRemoved: हटाए गए एनोटेशनों की कुल संख्या।

  • boxesUpdated: संपादित किए गए एनोटेशनों की कुल संख्या।

• labelers: में मौजूद प्रत्येक लेबलर ID के लिए मेटाडेटा data.

  • विशिष्ट से व्युत्पन्न labelerIds.

  • id: लेबलर का यूज़र ID।

  • displayName: यूज़र प्रोफ़ाइल से नाम।

  • email: ईमेल पता।

    • सिस्टम लेबलरों के लिए (उदा., autolabelservice), प्लेसहोल्डर मान लौटाता है।

• मेटा: पूरक मेटाडेटा।

  • notices: अस्वीकरणों की array।

    • वर्तमान में इसमें एक ही आइटम शामिल है जो बताता है कि मीट्रिक्स केवल 1 अगस्त, 2023 के बाद उपलब्ध हैं।

• stats: सभी सत्रों में समेकित वर्कस्पेस-स्तरीय कुल योग।

  • numImagesLabeled: विशिष्ट लेबल की गई छवियों की कुल संख्या।

  • numBoxesDrawn: सभी सत्रों में बनाए गए शुद्ध एनोटेशन।

  • numImagesMarkedNull: कम से कम एक बार null चिह्नित की गई छवियाँ।

  • totalImagesUsingModelAssist: मॉडल सहायता के साथ लेबल की गई छवियाँ।

  • numBoxesAdded: बनाए गए एनोटेशनों की कुल संख्या।

  • numBoxesRemoved: हटाए गए एनोटेशनों की कुल संख्या।

  • numBoxesUpdated: संपादित किए गए एनोटेशनों की कुल संख्या।

  • netBoxesAdded: numBoxesAdded - numBoxesRemoved.

  • netBoxesUpdated: numBoxesUpdated (नामकरण की समरूपता के लिए शामिल).

  • approvalRate: सभी लेबलरों और प्रोजेक्ट्स में समेकित प्रथम-पास स्वीकृति दर - समीक्षित छवियों का वह प्रतिशत जो बिना कभी अस्वीकार हुए स्वीकृत हुईं। लौटाता है null जब कोई छवि समीक्षा के लिए नहीं आई थी।

क्योंकि data[].imagesLabeled , प्रति-लेबलर गिनती में, प्रत्येक सत्र को अलग-अलग रिकॉर्ड करता है, इसलिए यदि किसी छवि को कई दिनों में या कई लेबलरों द्वारा लेबल किया गया हो, तो उसे एक से अधिक बार गिना जा सकता है। उपयोग करें data[].uniqueImagesLabeled हर छवि को प्रत्येक लेबलर के लिए एक बार गिनने के लिए। समग्र stats.numImagesLabeled फ़ील्ड इससे व्युत्पन्न है combinedData और पूरी तारीख-सीमा में प्रत्येक विशिष्ट छवि को केवल एक बार गिनता है। यह अंतर अक्सर समझाता है कि API से प्राप्त कुल छवि संख्या UI में दिखाए गए मान से बिल्कुल मेल क्यों नहीं खा सकती, यह इस पर निर्भर करता है कि UI कौन-सा मीट्रिक उपयोग करता है (प्रति-सत्र बनाम विशिष्ट छवियाँ)।

netBoxesAdded: प्रत्येक सत्र के लिए, Roboflow उसी एक सत्र के भीतर जोड़े गए बॉक्सों की गिनती करता है (वे बॉक्स जो सत्र समाप्त होने के समय मौजूद हैं; यदि कोई बॉक्स जोड़ा गया हो, फिर सत्र समाप्त होने से पहले हटा दिया गया हो, तो उसे गिनती में शामिल नहीं किया जाएगा)। यह netBoxesAdded स्टेट नए बॉक्सों के शुद्ध जोड़ का कुल योग है (वे बाद की हटाने की कार्रवाइयों से मेल नहीं खाते)। इसलिए यह “प्रत्येक सत्र में बनाए गए नए बॉक्सों की कुल संख्या” के योग के बराबर है, न कि डेटासेट की अंतिम बॉक्स संख्या के।

Annotation Insights (पुराना endpoint)

यह endpoint जल्द ही अप्रचलित हो जाएगा। कृपया नए endpoint पर अपग्रेड करें: Annotation Stats v2

Roboflow आपके वर्कस्पेस और प्रोजेक्ट्स से जुड़े एनोटेशनों पर आँकड़े प्रदान करता है। आप Roboflow डैशबोर्ड और REST API के माध्यम से annotation insights देख सकते हैं।

REST API

किसी वर्कस्पेस के लिए annotation insights प्राप्त करने हेतु, निम्न endpoint पर GET अनुरोध करें:

https://api.roboflow.com/workspace-stats

यह endpoint निम्न URL पैरामीटर स्वीकार करता है:

• api_key: आँकड़े प्राप्त करने के लिए उस वर्कस्पेस की API कुंजी।

• start: इस तारीख से शुरू करके आँकड़े प्राप्त करें (मिलीसेकंड में संख्या स्वीकार करता है)।

• end: इस तारीख पर समाप्त होने वाले आँकड़े प्राप्त करें (मिलीसेकंड में संख्या स्वीकार करता है)।

• includeTicks: जब true हो, तो ग्राफ़िंग टिक शामिल करें।

• projectId: केवल निर्दिष्ट प्रोजेक्ट के लिए डेटा प्राप्त करें।

• rawData: जब true हो, तो विशिष्ट लेबल की गई छवियों के लिए कच्चा (असमेकित) डेटा लौटाता है।

• limit: लौटाई जाने वाली रिकॉर्डों की संख्या। rawData होना चाहिए true.

• offset: लौटाए जाने वाले रिकॉर्डों का ऑफ़सेट। rawData होना चाहिए true.

यह endpoint निम्न संरचना के साथ एक payload लौटाता है:

{
    "data": {
        "last_updated": "2023-01-01T20:07:21.057Z",
        "data": [
            {
                "projectId": "project123",
                "projectName": "मेरा CV प्रोजेक्ट",
                "total_time_spent_annotating_minutes": 24.09,
                "total_images_labeled": 10,
                "total_boxes_created": 0,
                "seconds_per_image": 31,
                "num_images_marked_null": 0,
                "acceptance_rate": 0
            }
        ],
        "labelers": [
            {
                "id": "labelerId123",
                "displayName": "लेनी रैकून",
                "email": "[e-mail]"
            }
        ],
        // यदि includeTicks=true
        "ticks": [
            {
                "start_ms": 1656929228959,
                "end_ms": 1660867628959,
                "values": {
                    "labelerId123": {
                        "total_time_spent_annotating_minutes": 133.38,
                        "total_images_labeled": 983,
                        "total_boxes_created": 1432,
                        "seconds_per_image": 0
                    }
                }
            }
        ]
    }
}