멀티모달 데이터 주석 달기

프리픽스를 사용해 Florence-2 같은 VLM을 미세 조정하거나 GPT-4o 같은 프롬프트 기반 모델에 사용할 멀티모달 데이터를 주석 처리하세요.

멀티모달 프로젝트의 일부인 데이터셋에 레이블을 지정하는 경우, 이미지에 주석을 달기 위해 접두사가 사용됩니다.

접두사는 다음 중 하나일 수 있습니다:

• 다음과 같은 식별자 <PREFIX>, 이는 다음을 프롬프트하는 데 사용됩니다 VLM 예: Florence-2, 또는;

• "이 이미지에는 무엇이 있나요?"와 같은 질문으로, GPT-4o와 같은 일반 VQA 모델에 사용하기에 적합합니다.

예를 들어 Florence-2 미세 조정의 경우, 선택한 접두사는 모델에 제공하는 접두사 프롬프트에 해당합니다. Florence-2의 경우, 접두사는 다음 형식이어야 합니다 <PREFIX>, 예: <TOTAL>.

GPT-4o의 경우, 접두사는 다음과 같을 수 있습니다: "이 영수증의 총액은 얼마인가요?".

총액, 소계, 세금처럼 식별하려는 객체의 서로 다른 특성에 대해 서로 다른 접두사를 추가할 수 있습니다.

접두사 추가

접두사를 추가하려면 Roboflow 사이드바에서 "Classes & Tags"를 클릭한 다음 "Add " 버튼을 클릭하세요:

그런 다음 접두사를 입력하세요. 이는 "이미지에는 무엇이 있나요?"와 같은 질문일 수도 있고, 훈련하려는 모델에 따라 "<RECEIPT>"와 같은 고유 ID일 수도 있습니다.

"+" 버튼으로 여러 개의 접두사를 추가할 수 있습니다.

"Add Prefixes"를 클릭하여 접두사를 추가하세요.

접두사를 설정하면 주석 편집기에서 질문으로 사용할 수 있습니다: