주석 인사이트
날짜, 라벨러, 프로젝트별로 주석 인사이트를 확인하세요.
소개
Annotation Insights는 하나의 유료 기능입니다.
현재 플랜과 각 플랜에 포함된 기능에 대한 최신 정보는 요금 페이지.
Annotation Insights는 작업 공간의 프로젝트에 대한 주석 작업 통계를 보여줍니다. 날짜, 라벨러, 프로젝트별로 인사이트를 볼 수 있습니다.
예를 들어, 다음을 확인할 수 있습니다:
특정 기간 동안 누군가가 주석 처리한 이미지 수;
검토 단계에서 발생한 거부 이벤트 수, 나중에 승인된 이미지도 포함하여;
검토된 이미지의 1차 승인률(한 번도 거부되지 않고 승인된 비율);
프로젝트에 대해 그려진 바운딩 박스 수;
모델 보조를 사용했거나 null로 표시된 이미지 수;
라벨링에 소요된 시간 등.
웹 앱
Annotation Insights 보기
Roboflow 사이드바에서 "Settings" 아래의 "Manage Users"를 통해 Annotation Insights를 보려면:
그런 다음 "Annotation Insights"를 클릭하세요:
그러면 Annotation Insights 대시보드로 이동합니다:
대시보드에서 주어진 기간 동안 생성, 업데이트, 삭제된 주석 수에 대한 집계 정보를 볼 수 있습니다. 프로젝트별 세부 정보도 확인할 수 있습니다.
라벨러 통계
대시보드 표는 라벨러와 프로젝트별로 주석 활동을 세분화합니다.
"라벨링된 이미지"
라벨러가 주석 처리한 이미지로, 객체가 없는 것으로 표시된 이미지도 포함합니다. 이미지는 작업이 수행된 날짜마다 한 번씩 계산됩니다.
"고유 라벨링 이미지"
라벨러가 날짜 범위 내에서 주석 처리한 서로 다른 이미지로, 작업한 날짜 수와 상관없이 한 번만 계산됩니다. 2023년 8월 1일 이전 날짜 범위에는 표시되지 않습니다.
"순 주석 수"
추가된 주석 수에서 삭제된 주석 수를 뺀 값입니다.
"총 추가된 주석 수", "총 삭제된 주석 수", "총 업데이트된 주석 수"
라벨러가 수행한 주석 변경 횟수입니다.
"모델 보조 사용"
모델 보조 라벨링을 사용해 라벨러가 주석 처리한 이미지입니다.
"null로 표시됨"
라벨러가 객체가 없는 것으로 표시한 이미지입니다.
워크스페이스에서 주석 검토가 활성화되면, 표에 검토 통계도 표시됩니다:
"승인됨"
검토 중 승인된 이미지입니다.
"거부됨"
거부 이벤트의 총 수입니다. 나중에 수정되어 승인된 이미지도 포함하여 모든 거부가 집계됩니다.
"승인률"
1차 승인률로, 검토된 이미지 중 한 번도 거부되지 않고 승인된 비율입니다. 한 번 거부된 뒤 나중에 승인된 이미지는 1차 승인률에 포함되지 않습니다.
“거부됨”은 현재 거부 상태인 이미지가 아니라 거부 이벤트 수를 집계합니다. 한 번 거부된 뒤 수정되어 다시 승인된 이미지도 총합에 포함되므로, 이 수치는 작업이 검토를 위해 다시 반환된 모든 횟수를 반영합니다.
필터링 및 내보내기
다음 기준으로 결과를 필터링할 수 있습니다:
날짜 범위
프로젝트
라벨러(전체 팀 또는 선택한 구성원)
결과를 CSV로 내보낼 수도 있습니다.
HTTP API
Annotation Insights
Roboflow는 워크스페이스와 프로젝트에 연결된 주석에 대한 통계를 제공합니다. Roboflow 대시보드와 REST API를 통해 주석 인사이트를 볼 수 있습니다.
2023년 8월 1일에 주석 메트릭 추적 방식을 개선했습니다. Annotation Insights v2 엔드포인트는 2023년 8월 1일 이후의 주석 데이터를 제공합니다.
워크스페이스의 주석 인사이트를 가져오려면 다음 엔드포인트에 GET 요청을 보내세요:
이 엔드포인트는 다음 URL 매개변수를 허용합니다:
startDate
시작 날짜 형식: YYYY-MM-DD 형식입니다. 데이터는 2023-08-01 이후.
예
endDate
종료 날짜 형식: YYYY-MM-DD 형식입니다.
예
프로젝트
결과를 필터링할 프로젝트 슬러그(데이터셋 URL)입니다.
선택 사항
userId
결과를 필터링할 사용자 ID입니다.
선택 사항
예시 응답:
Annotation Insights 데이터 구조
이 엔드포인트는 다음 구조의 페이로드를 반환합니다:
data: 프로젝트별로 그룹화된 라벨러별 지표입니다. 각 객체는 단일 프로젝트에서 한 라벨러의 활동을 나타냅니다.projectId: 프로젝트 ID(session.datasetId).projectName: 프로젝트 이름, 다음을 통해 확인됨getProjectsByIds.projectType: 프로젝트 유형(예:"object-detection").labelerId: 라벨러의 고유 ID입니다.workspaceId: 이 세션이 속한 워크스페이스의 ID입니다.imagesLabeled: 라벨러가 주석을 생성, 수정, 삭제했거나 null로 표시한 이미지 수입니다. 세션 단위로 계산되므로 여러 날에 걸쳐 작업한 이미지는 한 번 이상 계산될 수 있습니다.uniqueImagesLabeled: 날짜 범위 전체에서 각 이미지를 한 번만 계산한 동일한 수치입니다.boxesDrawn: 생성된 주석의 순 수입니다(다음과 같음boxesAdded - boxesRemoved).markedNull: 라벨러가 명시적으로 null로 표시한 이미지 수입니다.modelAssisted: 모델 보조가 사용된 이미지 수입니다.approved: 승인된 이미지 수입니다.rejected: 이 라벨러/프로젝트 조합에 대한 거부 이벤트 수입니다. 나중에 이미지가 승인되더라도 각 거부는 개별적으로 계산됩니다.approvalRate: 1차 승인률 - 한 번도 거부되지 않고 승인된 검토 이미지의 비율입니다. 반환값은null검토된 이미지가 없을 때입니다.netBoxesAdded: 각 세션에서 생성된 새 박스 수의 총합입니다(아래 참고 참조)netBoxesUpdated: 현재 다음과 동일함boxesUpdated(일관성을 위해 포함됨).boxesAdded: 생성된 주석의 총 수입니다.boxesRemoved: 삭제된 주석의 총 수입니다.boxesUpdated: 수정된 주석의 총 수입니다.
labelers: 다음에 존재하는 각 라벨러 ID의 메타데이터data.고유한 항목에서 파생됨
labelerIds.id: 라벨러의 사용자 ID입니다.displayName: 사용자 프로필의 이름입니다.email: 이메일 주소입니다.시스템 라벨러의 경우(예:
autolabelservice), 자리표시자 값을 반환합니다.
메타: 추가 메타데이터입니다.notices: 면책 고지 배열입니다.현재는 지표가 2023년 8월 1일 이후에만 제공됨을 알리는 항목 하나를 포함합니다.
stats: 모든 세션에 걸친 워크스페이스 수준의 집계 총합입니다.numImagesLabeled: 고유 라벨링 이미지의 총 수입니다.numBoxesDrawn: 모든 세션에서 생성된 순 주석 수입니다.numImagesMarkedNull: 한 번 이상 null로 표시된 이미지입니다.totalImagesUsingModelAssist: 모델 보조를 사용해 라벨링된 이미지입니다.numBoxesAdded: 생성된 주석의 총 수입니다.numBoxesRemoved: 삭제된 주석의 총 수입니다.numBoxesUpdated: 수정된 주석의 총 수입니다.netBoxesAdded:numBoxesAdded - numBoxesRemoved.netBoxesUpdated:numBoxesUpdated(명명 대칭을 위해 포함됨).approvalRate: 모든 라벨러와 프로젝트에 대한 집계 1차 승인률 - 한 번도 거부되지 않고 승인된 검토 이미지의 비율입니다. 반환값은null검토된 이미지가 없을 때입니다.
왜냐하면 data[].imagesLabeled , 라벨러별 집계에서는 각 세션을 별도로 기록하므로, 동일한 이미지가 여러 날에 걸쳐 또는 여러 라벨러에 의해 라벨링된 경우 한 번 이상 계산될 수 있습니다. 다음을 사용하세요 data[].uniqueImagesLabeled 각 이미지를 라벨러당 한 번만 계산하려면 사용하세요. 전체 stats.numImagesLabeled 필드는 다음에서 파생됩니다 combinedData 및 날짜 범위 전체에서 각 고유 이미지를 한 번만 계산합니다. 이 차이는 UI가 어떤 지표를 사용하는지(세션별 vs. 고유 이미지)에 따라 API의 총 이미지 수가 UI에 표시되는 값과 정확히 일치하지 않는 이유를 설명하는 경우가 많습니다.
netBoxesAdded : 각 세션에서 Roboflow는 세션 종료 시점에 존재하는 박스(박스가 추가되었다가 세션 종료 전에 삭제되면, 해당 박스는 계산에 포함되지 않음) 기준으로 추가된 박스를 계산합니다. netBoxesAdded 이 통계는 박스 순 추가 수를 합산합니다(이후 삭제는 반영되지 않음). 따라서 “각 세션에서 생성된 새 박스 수의 총합”의 합과 같으며, 데이터셋의 최종 박스 수와는 다릅니다.
Annotation Insights(레거시 엔드포인트)
이 엔드포인트는 곧 지원 중단될 예정입니다. 새 엔드포인트인 Annotation Stats v2로 업그레이드하세요.
Roboflow는 워크스페이스와 프로젝트에 연결된 주석에 대한 통계를 제공합니다. Roboflow 대시보드와 REST API를 통해 주석 인사이트를 볼 수 있습니다.
워크스페이스의 주석 인사이트를 가져오려면 다음 엔드포인트에 GET 요청을 보내세요:
이 엔드포인트는 다음 URL 매개변수를 허용합니다:
api_key: 통계를 가져올 워크스페이스의 API 키입니다.start: 이 날짜부터 통계를 가져옵니다(밀리초 단위 숫자 허용).end: 이 날짜까지의 통계를 가져옵니다(밀리초 단위 숫자 허용).includeTicks: true인 경우 그래프용 틱을 포함합니다.projectId: 지정한 프로젝트에 대한 데이터만 가져옵니다.rawData: true인 경우 라벨링된 고유 이미지에 대한 원시(집계되지 않은) 데이터를 반환합니다.limit: 반환할 레코드 수입니다.rawData이어야 합니다true.offset: 반환될 레코드의 오프셋입니다.rawData이어야 합니다true.
이 엔드포인트는 다음 구조의 페이로드를 반환합니다:
마지막 업데이트
도움이 되었나요?