라벨링 협업

팀 전체가 함께 데이터셋 라벨링을 돕습니다.

소개

수백 장의 이미지를 레이블링하는 소규모 팀이든 수백만 장을 다루는 대규모 팀이든, 데이터세트를 만드는 일은 박스를 그리는 것 이상입니다. 레이블링의 큰 부분은 실제 세계의 이미지를 학습된 모델의 저장된 지식으로 가져오는 과정에 있으며, 여기에는 이미지 수집, 저장, 정리, 선택, 할당, 레이블링, 검토가 포함됩니다.

Roboflow는 다음을 할 수 있게 해주는 협업 기능을 제공합니다:

팀의 여러 구성원에게 레이블링 작업을 할당하여 작업을 나눌 수 있습니다
업로드하면서 이미지를 배치로 정리하기
작업을 안내하고 일관성을 보장하는 데 도움이 되도록 이미지 레이블링 지침을 제공합니다
진행 중인 레이블링 작업을 한눈에 볼 수 있습니다
모든 레이블링 작업의 기록된 타임라인을 볼 수 있습니다
변경 사항 되돌리기
이미지에 댓글을 추가하고 이미지 댓글 기록을 볼 수 있습니다
레이블링 문제가 있는 이미지를 팀원에게 다시 보내 수정하게 합니다
데이터세트에 포함하기 전에 레이블을 승인하거나 거부합니다

레이블링 작업 할당

레이블링 작업을 팀원들에게 분배하거나 레이블링을 담당하는 특정 사람에게 할당할 수 있습니다. 개별 팀원에게 작업을 할당하면, 두 사람이 동시에 온라인일 때 서로의 작업을 방해할 걱정을 하지 않아도 됩니다.

작업을 팀의 한 명 또는 여러 명에게 할당하도록 선택할 수 있으며, 아직 워크스페이스에 팀원을 추가하지 않았다면 다음도 할 수 있습니다 초대할 수 있습니다 그리고 동시에 완료할 레이블링 작업을 할당할 수 있습니다.

제공 레이블링 지침

할당 이미지 탭에서 레이블러에게 지침을 제공할 수 있습니다. 배치를 레이블러에게 할당하기 전에 "지침 추가"를 클릭하여 배치에 지침을 추가하세요. 지침을 설정한 후에는 "이미지 할당"을 클릭하세요.

지침을 할당하려면 "편집"을 클릭하세요:

레이블링 지침을 저장하려면 "지침 저장"을 클릭하세요.

작업 알림

레이블링 작업이 할당되면 해당 작업이 배정된 팀원에게 알림이 전송됩니다.

레이블링 작업 보드

레이블링 작업 보드는 개별적으로 할당된 작업이 레이블링 과정을 거치는 동안의 현재 상태를 한눈에 보여줍니다.

특정 레이블러의 통계를 보려면 다음에 값을 지정하세요. 레이블러 드롭다운.

작업 세부 정보

레이블링 작업 보드에서 개별 작업을 클릭하면 해당 작업과 진행 상황을 더 자세히 볼 수 있습니다. 아직 레이블링이 필요한 이미지를 빠르게 확인하고 필요에 따라 작업을 다른 팀원에게 다시 할당할 수 있습니다.

개별 이미지 관리

작업의 "주석 완료" 탭에서는 체크박스, 드래그 선택, 또는 헤더의 "모두 선택" 체크박스를 사용해 개별 이미지를 선택할 수 있습니다. 선택을 마치면:

선택한 이미지를 다시 레이블링하기 위해 "주석 없음으로 보내기"를 클릭하여 선택한 이미지를 주석 없음 탭으로 이동하세요.
"N개의 이미지를 데이터세트에 추가"를 클릭하여 선택한 이미지만 데이터세트에 추가하세요. 선택되지 않은 주석 완료 이미지는 작업에 남아 있습니다.

부분 선택을 데이터세트에 추가하면 작업은 업데이트된 개수와 함께 현재 상태를 유지하므로 레이블러가 나머지 이미지 작업을 계속할 수 있습니다.

이러한 컨트롤은 주석 편집기에서도 사용할 수 있습니다. 할당된 작업에서 주석이 달린 이미지를 볼 때:

현재 이미지를 데이터세트에 추가하려면 체크 표시 버튼을 사용하세요.
현재 이미지를 다시 레이블링하도록 보내려면 이미지 전환기 옆의 "주석 없음으로 보내기" 버튼(화살표 아이콘)을 사용하세요.

이후에는 편집기가 자동으로 다음 이미지로 이동합니다.

검토 모드

필요할 때 개별적으로 레이블된 이미지를 승인하거나 거부하여 레이블러에게 다시 보내 수정하게 할 수 있습니다. 이렇게 하려면 이미지 배치를 클릭하세요. 그런 다음 승인됨, 거부됨, 할 일 탭 사이를 이동하며 작업 내 이미지 상태를 확인하세요.

계획에 포함되어 있다면 검토 모드가 켜집니다. 끄려면 프로젝트의 주석 페이지를 열고 "검토 모드 비활성화"를 클릭하세요. 그러면 검토 열이 제거되고 완료된 작업이 바로 데이터세트로 전송됩니다. 끄더라도 계획에서 검토 모드가 제거되는 것은 아니므로, 언제든지 "검토 모드 활성화"를 클릭해 다시 켤 수 있습니다.

Agent에서 레이블링 작업 찾아보기

에서 프로젝트 탭을 엽니다 Roboflow Agent 를 선택한 다음 "데이터세트"를 선택하여 레이블링 단계별로 프로젝트 이미지를 찾아보세요. 단계별 칩("할당되지 않음", "주석 작업 중", "검토", "데이터세트")에 이미지 수가 표시됩니다. 칩을 선택한 다음 배치 또는 작업 카드를 선택하면 아래의 그리드가 더 좁혀집니다.

이미지를 클릭하면 주석 편집기에서 열립니다. 이미지는 "할당되지 않음" 상태이거나 작업이 주석 보드를 떠났거나 더 이상 당신에게 할당되지 않은 경우 읽기 전용으로 열립니다. 레이블을 편집하려면 Search Workspace Images 권한과 Update Annotation 권한이 필요합니다.

작업을 단계별로 이동하기

Agent에서 작업을 열면 탭 표시줄에 작업의 위치인 "할당되지 않음", "주석 작업 중", "검토" 또는 "데이터세트"가 표시됩니다. 각 단계에서 어떤 일이 일어나는지 보려면 단계 위에 마우스를 올리세요. 만약 검토 모드 비활성화되어 있으면 "검토" 단계가 회색으로 표시됩니다. 계획에 이 기능이 포함되어 있지 않으면 해당 단계에서 업그레이드 방법이 제공됩니다.

단계 표시기 옆의 버튼으로 작업을 앞으로 또는 뒤로 이동할 수 있습니다. 어떤 버튼이 보이는지는 단계와 권한에 따라 다릅니다:

"N개를 주석 작업 중으로 이동"은 할당되지 않은 이미지로부터 레이블링 작업을 만들고 이를 당신에게 할당합니다.
"검토 제출"은 주석 중인 작업을 검토로 보냅니다.
"주석 작업 중으로 되돌리기"는 검토 중인 작업의 모든 이미지를 추가 레이블링을 위해 다시 보냅니다.
"N개를 데이터세트에 추가"는 작업의 준비된 이미지를 데이터세트에 추가합니다. 일부만 추가하면 나머지는 작업에 그대로 남습니다.

각 버튼은 쓰기 전에 작업의 단계를 다시 확인합니다. 그동안 다른 사람이 작업을 옮겼다면 아무것도 변경되지 않으며 Agent가 그 이유를 알려줍니다.

이미지 승인 및 거부

열어 본 작업이 "검토" 단계에 있을 때 편집기에는 주석 보드와 동일한 승인 및 거부 컨트롤이 표시됩니다. 현재 이미지에서 "승인" 또는 "거부"를 클릭하거나, A를 눌러 승인하고 R을 눌러 거부하며 U를 눌러 마지막 결정을 되돌릴 수 있습니다. 이를 사용하려면 검토 이미지 권한이 필요합니다.

HTTP API

jobs 엔드포인트를 사용하여 주석 작업에 대한 정보, 현재 상태를 가져오거나, 배치 중 하나의 이미지로 새 주석 작업을 생성하여 레이블링용 이미지를 할당할 수 있습니다.

새 주석 작업 만들기

검토자와 레이블러를 모두 워크스페이스의 사용자 이메일로 설정해야 합니다.

워크스페이스에서 역할 기반 액세스 제어가 활성화되어 있지 않으면 앱 인터페이스에서 검토자가 표시되지 않으며, 검토자를 레이블러와 같은 사용자로 설정해야 합니다.

프로젝트의 /jobs 엔드포인트에 POST 요청을 보내 프로젝트에서 새 주석 작업을 생성할 수 있습니다. 새 작업을 만들려면 POST 요청 본문에 JSON으로 인코딩된 데이터를 제공해야 합니다.

프로젝트에서 새 주석 작업을 만들어, 프로젝트 내 배치 중 하나의 이미지 10개를 lenny@roboflow.com이 주석하도록 할당하려면 다음과 같이 POST 요청을 보낼 수 있습니다:

curl --location --request POST 'https://api.roboflow.com/${WORKSPACE}/${PROJECT}/jobs?api_key=${ROBOFLOW_API_KEY}' \\
--header 'Content-Type: application/json' \
--data-raw '{
    "name": "API로 생성된 작업",
    "batch": "<BATCH_ID>",
    "num_images": 10,
    "labelerEmail": "lenny@roboflow.com",
    "reviewerEmail": "lenny@roboflow.com"
}'

이 요청은 다음 데이터를 반환합니다:

{
    "created": {
        "_seconds": 1669234345,
        "_nanoseconds": 61000000
    },
    "rejected": 0,
    "annotated": 0,
    "numImages": 2,
    "createdBy": "API",
    "owner": "holeSv3hwbzrOv37vH5b",
    "instructionsText": "지침이 제공되지 않았습니다",
    "unannotated": 2,
    "reviewer": "thomas@roboflow.com",
    "labeler": "korryn@roboflow.com",
    "name": "API 작업 1",
    "project": "PBDhem3YRI1rKtQZSqRK",
    "approved": 0,
    "status": "할당됨",
    "sourceBatch": "PBDhem3YRI1rKtQZSqRK/6VN0fFQIWU1E24bDjGsN",
    "id": "0IzntY4ms4ogwHwJNkIB"
}

API에서 주석 작업 데이터 검색

REST API에서 주석 작업 데이터를 가져오려면 다음 엔드포인트로 요청하세요:

curl https://api.roboflow.com/${WORKSPACE}/${PROJECT}/jobs?api_key=${ROBOFLOW_API_KEY}

이 요청은 다음 형식으로 데이터를 반환합니다:

{
    "jobs": [
        {
            "owner": "holeSv3hwbzrOv37vH5b",
            "approved": 0,
            "createdBy": "g12lCVib0pgurZ6EqWLnApJJ4gr1",
            "sourceBatch": "PBDhem3YRI1rKtQZSqRK/6VN0fFQIWU1E24bDjGsN",
            "annotated": 3,
            "rejected": 0,
            "labeler": "thomas@roboflow.com",
            "numImages": 26,
            "status": "할당됨",
            "instructionsText": "",
            "name": "22/11/22 오후 1:39에 업로드됨: 작업 9",
            "reviewer": "thomas@roboflow.com",
            "created": {
                "_seconds": 1669148088,
                "_nanoseconds": 297000000
            },
            "project": "PBDhem3YRI1rKtQZSqRK",
            "unannotated": 23,
            "id": "5LfYNJg10Z9Kvx5Tt5Uq"
        },

        {
            "approved": 0,
            "unannotated": 2,
            "instructionsText": "이미지의 모든 너구리를 다각형을 사용해 레이블링하세요",
            "annotated": 12,
            "sourceBatch": "PBDhem3YRI1rKtQZSqRK/6VN0fFQIWU1E24bDjGsN",
            "project": "PBDhem3YRI1rKtQZSqRK",
            "rejected": 0,
            "owner": "holeSv3hwbzrOv37vH5b",
            "createdBy": "API",
            "status": "할당됨",
            "created": {
                "_seconds": 1669148192,
                "_nanoseconds": 651000000
            },
            "labeler": "korryn@roboflow.com",
            "name": "테스트 작업",
            "numImages": 25,
            "reviewer": "thomas@roboflow.com",
            "id": "h2E42jt686yLyMIxxqOQ"
        }
    ]
}

특정 작업에 대한 정보를 가져오려면 작업 ID를 지정하세요:

curl https://api.roboflow.com/${WORKSPACE}/${PROJECT}/jobs/${JOB_ID}?api_key=${ROBOFLOW_API_KEY}

이 요청의 응답 형식은 다음과 같습니다:

{
    "approved": 0,
    "unannotated": 2,
    "instructionsText": "이미지의 모든 너구리를 다각형을 사용해 레이블링하세요",
    "annotated": 12,
    "sourceBatch": "PBDhem3YRI1rKtQZSqRK/6VN0fFQIWU1E24bDjGsN",
    "project": "PBDhem3YRI1rKtQZSqRK",
    "rejected": 0,
    "owner": "holeSv3hwbzrOv37vH5b",
    "createdBy": "API",
    "status": "할당됨",
    "created": {
        "_seconds": 1669148192,
        "_nanoseconds": 651000000
    },
    "labeler": "korryn@roboflow.com",
    "name": "테스트 작업",
    "numImages": 25,
    "reviewer": "thomas@roboflow.com",
    "id": "<JOB_ID>"
}

Python SDK

새 주석 작업 만들기

주석 작업을 만들려면 레이블러와 검토자에게 할당할 업로드 배치가 필요합니다:

import roboflow

rf = roboflow.Roboflow(api_key="YOUR_API_KEY")

project = rf.workspace().project("PROJECT_ID")

job = project.create_annotation_job(
    name="테스트 주석 작업",
    batch_id=UPLOAD_BATCH_ID,
    num_images=UPLOAD_BATCH_SIZE,
    labeler_email="test@example.com",
    reviewer_email="test@example.com",
)

이전Roboflow 라벨링 서비스 다음AI 라벨링

마지막 업데이트 8일 전

도움이 되었나요?