CogVLM

非推奨！セルフホストの視覚言語モデルを実行します。

CogVLM はサポート終了しました

新しいモデルとの依存関係の競合と、 transformers モデルと互換性のないライブラリのバージョンでライブラリが修正されたため、CogVLM サポートのサポート終了を発表しました inference、リリース以降有効です 0.38.0.

このブロックはリリースまでエコシステムに残します 0.42.0 クライアントが導入された変更について把握できるようにするためです。

ただちに、このブロックを使用するすべての Workflows は動作しなくなります（実行時エラーが発生します）。推論リリース後 0.42.0 - このブロックは削除され、Execution Engine は Workflow 定義にこのブロックがあるとコンパイルエラーを発生させます。

オープンソースの視覚言語モデル CogVLM に質問してください。

このモデルには GPU が必要で、セルフホストのデバイスでのみ実行できます。Roboflow Hosted API では利用できません。

このモデルは以前、LMM ブロックの一部でした。

型識別子

ステップで次の識別子を使用してください "type" フィールド： roboflow_core/cog_vlm@v1 ワークフローにこのブロックをステップとして追加するには。

プロパティ

名前	型	説明	参照
name	str	このステップの一意の識別子を入力してください。	❌
プロンプト	str	CogVLM モデルへのテキストプロンプト。	✅
json_output_format	Dict[str, str]	要求された出力フィールド名をその説明にマッピングする辞書を保持します。	❌

この 参照 列は、で利用可能な動的値を使ってプロパティをパラメータ化できる可能性を示します ワークフロー 実行時。参照 バインディング 詳細は。

ランタイム互換性

requires_internet - エアギャップ／オフライン環境: このブロックは、完全にオフライン／エアギャップ環境から到達できないサービスに依存しています。

ハード - ランタイム self_hosted_cpu；実行 ローカル : GPU が必要です。run_locally() は CUDA を必要とするモデルを読み込みます。

ハード - ランタイム hosted_serverless；実行 リモート : Roboflow Hosted Serverless で LMM_ENABLED=False の場合、/llm_v1 と /infer/cog_vlm エンドポイントは登録されないため、run_remotely() は 404 を返します。

入力と出力のバインディング

利用可能な接続は、そのバインディング種別によって異なります。どのバインディング種別が CogVLM のバージョン v1 あるか確認してください。

入力と出力のバインディング

• 入力

  • images (image): 推論対象の画像です..

  • プロンプト (string): CogVLM モデルへのテキストプロンプト。

• 出力

  • parent_id (parent_id)：ステップ出力の親の識別子。

  • root_parent_id (parent_id)：ステップ出力の親の識別子。

  • image (image_metadata)：supervision に必要な画像メタデータを含む辞書。

  • structured_output (辞書）：辞書。

  • raw_output (string) : 文字列値。

  • * (*)：任意の要素に相当します。

JSON 定義の例

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/cog_vlm@v1",
	    "images": "$inputs.image",
	    "prompt": "my prompt",
	    "json_output_format": {
	        "count": "画像内の猫の数"
	    }
	}