マルチモーダルデータをアノテートする

マルチモーダルプロジェクトの一部であるデータセットにラベリングする場合、プレフィックスは画像の注釈付けに使用されます。

プレフィックスは次のいずれかになります：

• 識別子のような <PREFIX>、モデルにプロンプトを与えるために使用される VLM （例：Florence-2）など、または；

• 「この画像には何が写っていますか？」のような質問で、GPT-4oのような一般的なVQAモデルでの使用に最適です。

例えばFlorence-2のファインチューニングでは、選択したプレフィックスはモデルに与えるプレフィックスプロンプトに対応します。Florence-2の場合、プレフィックスは次の形式であるべきです <PREFIX>、例えば <TOTAL>.

GPT-4oの場合、プレフィックスは「このレシートの合計はいくらですか？」のようになるかもしれません。

合計、税抜合計、税金など、特定のオブジェクト内の異なる機能を識別したい場合は、異なるプレフィックスを追加することを検討してください。

プレフィックスを追加

プレフィックスを追加するには、Roboflowのサイドバーで「Classes & Tags」をクリックし、次に「Add 」ボタンをクリックします：

次にプレフィックスを入力します。これは「画像には何が写っていますか？」のような質問や、トレーニングしたいモデルに応じて「<RECEIPT>」のような一意のIDである場合があります。

「＋」ボタンで複数のプレフィックスを追加できます。

「Add Prefixes」をクリックしてプレフィックスを追加します。

プレフィックスを設定すると、注釈エディタで質問として利用可能になります：