멀티모달 데이터 주석 달기

멀티모달 프로젝트의 일부인 데이터셋에 라벨을 지정하는 경우, 접두사가 이미지를 주석 처리하는 데 사용됩니다.

접두사는 다음 중 하나일 수 있습니다:

• 다음과 같은 식별자 <PREFIX>를 사용하여 VLM (예: Florence-2)과 같은 모델을 프롬프트하거나,

• "이 이미지에 무엇이 있나요?"와 같은 질문으로, GPT-4o와 같은 일반 VQA 모델에 이상적입니다.

예를 들어 Florence-2 파인튜닝의 경우, 선택한 접두사는 모델에 제공하는 접두사 프롬프트와 일치해야 합니다. Florence-2의 경우, 접두사는 다음 형식이어야 합니다. <PREFIX>예: <TOTAL>.

GPT-4o의 경우, 접두사는 "이 영수증의 합계는 얼마인가요?"가 될 수 있습니다.

식별하고자 하는 객체의 다양한 특징(예: 합계, 소계, 세금)에 대해 서로 다른 접두사를 추가할 수 있습니다.

접두사 추가

접두사를 추가하려면 Roboflow 사이드바에서 "Classes & Tags"를 클릭한 다음 "Add " 버튼을 클릭하세요:

그런 다음 접두사를 입력하세요. 이는 "이미지에 무엇이 있나요?"와 같은 질문일 수도 있고, "<RECEIPT>"와 같은 고유 ID일 수도 있습니다. 이는 학습하려는 모델에 따라 다릅니다.

"+" 버튼을 사용하여 여러 개의 접두사를 추가할 수 있습니다.

"Add Prefixes"를 클릭하여 접두사를 추가하세요.

접두사를 설정하면, 주석 편집기에서 질문으로 사용할 수 있습니다: