For the complete documentation index, see llms.txt. This page is also available as Markdown.

マルチモーダルデータにアノテーションを付ける

Multimodal project の一部であるデータセットにラベル付けを行う場合、prefix は画像にアノテーションを付けるために使用されます。

prefix は次のいずれかです:

  • 次のような識別子: <PREFIX>、これは~をプロンプトするために使われる VLM 、たとえば Florence-2 など。

  • 「この画像には何が写っていますか?」のような質問。GPT-4o のような一般的な VQA モデルでの使用に最適です。

たとえば Florence-2 の fine-tuning では、選択した prefix は、モデルに与える prefix prompt に対応します。Florence-2 では、prefix は次の形式である必要があります <PREFIX>、たとえば <TOTAL>.

GPT-4o では、prefix は「このレシートの合計はいくらですか?」のようになります。

合計、小計、税額など、識別したいオブジェクト内の異なる特徴ごとに、異なる prefix を追加したい場合があります。

prefix を追加

prefix を追加するには、Roboflow のサイドバーで「Classes & Tags」をクリックし、次に「Add」ボタンをクリックします:

次に、prefix を入力します。これは「この画像には何がありますか?」のような質問でも、学習したいモデルに応じて「<RECEIPT>」のような一意の ID でも構いません。

「+」ボタンで複数の prefix を追加できます。

「Add Prefixes」をクリックして prefix を追加します。

prefix を設定すると、アノテーションエディタで質問として利用できるようになります:

最終更新

役に立ちましたか?