멀티모달 데이터 주석 처리

멀티모달 프로젝트의 일부인 데이터셋에 라벨을 지정하는 경우, prefix는 이미지를 주석 처리하는 데 사용됩니다.

prefix는 다음 중 하나일 수 있습니다:

• 예를 들어 <PREFIX>이는 VLM 와 같은 모델에 프롬프트를 주는 데 사용되거나;

• "이 이미지에는 무엇이 있나요?"와 같은 질문으로, GPT-4o와 같은 일반 VQA 모델에 사용하기에 이상적입니다.

예를 들어 Florence-2 미세 조정의 경우, 선택한 prefix는 모델에 제공하는 prefix prompt에 해당합니다. Florence-2의 경우, prefix는 다음 형식이어야 합니다 <PREFIX>예를 들어 <TOTAL>.

GPT-4o의 경우, prefix는 다음과 같을 수 있습니다: "이 영수증의 총액은 얼마인가요?".

식별하려는 객체의 서로 다른 기능에 대해 total, subtotal, tax처럼 서로 다른 prefix를 추가할 수도 있습니다.

Add Prefixes

prefix를 추가하려면 Roboflow 사이드바에서 "Classes & Tags"를 클릭한 다음, "Add " 버튼을 클릭하세요:

그런 다음 prefix를 입력합니다. 이는 훈련하려는 모델에 따라 "이 이미지에는 무엇이 있나요?"와 같은 질문일 수도 있고 "<RECEIPT>"와 같은 고유 ID일 수도 있습니다.

"+" 버튼으로 여러 prefix를 추가할 수 있습니다.

“Add Prefixes”를 클릭하여 prefix를 추가합니다.

prefix를 설정하면 annotation editor에서 질문으로 사용할 수 있습니다: