LMM

ChatGPT-4vのような大規模マルチモーダルモデルを実行します。

非推奨

このブロックは非推奨であり、将来のリリースで削除される可能性があります。

画像とテキストを使って、大規模マルチモーダルモデル（LMM）に質問します。

LMMBlock には任意のテキストプロンプトを指定できます。

LLMBlock は 2 つの LMM をサポートします:

• OpenAI の GPT-4 with Vision;

GPT-4 with Vision モデルを使用するには、OpenAI の API キーを指定する必要があります。

画像を1つ以上のカテゴリに分類したい場合は、専用の LMMForClassificationBlock の使用をおすすめします。

型識別子

ステップで次の識別子を使用してください "type" フィールド： roboflow_core/lmm@v1 ワークフローにこのブロックをステップとして追加するには。

プロパティ

名前	型	説明	参照
name	str	このステップの一意の識別子を入力してください。	❌
プロンプト	str	LMM モードへの制約のないテキストプロンプトを保持します。	✅
lmm_type	str	使用する LMM の種類。	✅
lmm_config	LMMConfig	LMM の設定。	❌
remote_api_key	str	LMM モデルを呼び出すために必要な API キーを保持します。現時点の開発段階では、OpenAI キーが必要な場合 lmm_type=gpt_4v..	✅
json_output	Dict[str, str]	要求された出力フィールド名をその説明にマッピングする辞書を保持します。	❌

この 参照 列は、で利用可能な動的値を使ってプロパティをパラメータ化できる可能性を示します ワークフロー 実行時。参照 バインディング 詳細は。

ランタイム互換性

requires_internet - エアギャップ／オフライン環境: このブロックは、完全にオフライン／エアギャップ環境から到達できないサービスに依存しています。

ハード - ランタイム hosted_serverless；実行 リモート : Roboflow Hosted Serverless で LMM_ENABLED=False の場合: /llm_v1 エンドポイントは登録されていないため、run_remotely() は 404 を返します。

入力と出力のバインディング

利用可能な接続は、そのバインディング種別によって異なります。どのバインディング種別が LMM のバージョン v1 あるか確認してください。

入力と出力のバインディング

• 入力

  • images (image): 推論対象の画像です..

  • プロンプト (string): LMM モードへの制約のないテキストプロンプトを保持します。

  • lmm_type (string): 使用する LMM の種類。

  • remote_api_key (Union[secret, string]): LMM モデルを呼び出すために必要な API キーを保持します。現時点の開発段階では、OpenAI キーが必要な場合 lmm_type=gpt_4v..

• 出力

  • parent_id (parent_id)：ステップ出力の親の識別子。

  • root_parent_id (parent_id)：ステップ出力の親の識別子。

  • image (image_metadata)：supervision に必要な画像メタデータを含む辞書。

  • structured_output (辞書）：辞書。

  • raw_output (string) : 文字列値。

  • * (*)：任意の要素に相当します。

JSON 定義の例

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/lmm@v1",
	    "images": "$inputs.image",
	    "prompt": "my prompt",
	    "lmm_type": "gpt_4v",
	    "lmm_config": {
	        "gpt_image_detail": "low",
	        "gpt_model_version": "gpt-4o",
	        "max_tokens": 200
	    },
	    "remote_api_key": "xxx-xxx",
	    "json_output": {
	        "count": "画像内の猫の数"
	    }
	}