의미론적분할예측 종류

의미론적 분할을 위한 픽셀별 클래스 레이블과 신뢰도를 포함한 예측.

의미론적 분할을 위한 픽셀별 클래스 레이블과 신뢰도를 포함한 예측

데이터 표현

데이터 표현

이 종류는 내부 표현과 외부 표현이 다릅니다. 외부 표현은 워크플로우와의 통합에 관련이 있으며, 반면 내부 한쪽은 Workflows 블록 개발에 유용한 구현 세부 사항입니다.

외부

외부 데이터 표현은 Workflows 클라이언트와 관련이 있으며, 데이터의 입력 및 출력 형식을 규정합니다.

유형: dict

내부

내부 데이터 표현은 Workflows 블록 제작자와 관련이 있습니다 - 이는 실행 엔진이 런타임에 이러한 종류의 입력을 받는 블록에 제공하는 유형입니다.

유형: sv.Detections

세부 정보

이 형식은 하나의 의미론적 분할 예측을 다음과 같은 형태로 나타냅니다. sv.Detections(...) 예측된 각 클래스마다 하나의 검출을 가진 객체입니다. 각 검출은 해당 클래스에 할당된 모든 픽셀을 포괄하는 RLE 인코딩 마스크를 포함합니다.

왜 다각형이 아니라 RLE인가:

의미론적 분할은 이미지의 모든 픽셀에 클래스 레이블을 할당합니다. 하나의 클래스는 여러 개의 공간적으로 분리된 영역에 나타날 수 있습니다(예: 프레임의 서로 반대쪽에 있는 두 개의 별도 "person" 영역). 다각형 기반 직렬화는 cv2.findContours()를 사용하며, 이는 첫 번째 연속 윤곽선만 유지하고 나머지는 모두 조용히 버리므로 공간적으로 분리된 마스크에서 되돌릴 수 없는 데이터 손실을 초래합니다. RLE(Run-Length Encoding, COCO 표준)는 공간적 위상에 관계없이 전체 마스크를 표현하는 픽셀 수준 인코딩이므로, 의미론적 분할 마스크에 대한 유일하게 올바른 직렬화 형식입니다.

내부 표현: sv.Detections 다음 항목을 포함:

• xyxy - 클래스의 모든 픽셀을 감싸는 최소 바운딩 박스

• class_id - 정수 클래스 ID

• confidence - 클래스의 모든 픽셀에 대한 평균 신뢰도

• data["class_name"] - 클래스 레이블 문자열

• data["rle_mask"] - COCO RLE 딕셔너리의 numpy 객체 배열 {"size": [H, W], "counts": "..."}

직렬화된 형식 (각 클래스당 하나의 항목) 예측):

{
    "image": {"width": 640, "height": 480},
    "predictions": [
        {
            "x": 320.0, "y": 240.0, "width": 200.0, "height": 180.0,
            "confidence": 0.92,
            "class_id": 1,
            "class": "person",
            "detection_id": "a1b2c3d4-...",
            "rle_mask": {"size": [480, 640], "counts": "XYZ..."}
        }
    ]
}

RLE 마스크 디코딩:

import pycocotools.mask as mask_utils
import numpy as np

rle = prediction["rle_mask"]
binary_mask = mask_utils.decode(rle).astype(bool)  # shape: (H, W)