For the complete documentation index, see llms.txt. This page is also available as Markdown.

Roboflow Agent

ワークフローと Rapid モデルを構築、実行、デバッグするアプリ内の Roboflow Agent と、その HTTP チャット API。

概要

Roboflow Agentはあなたの ワークスペース にアクセスでき、 ワークフローを作成、編集、実行、デバッグできます。 Rapid モデルの設定にも使用できます。ワークスペースの左サイドバーで「Agent」をクリックしてAgentにアクセスしてください。

機能

Agentは次のことができます:

  • 作成 ワークフロー 自然言語の説明からワークフローを作成し、それを実行し、失敗を自動修正します(1ターンにつき最大3回まで再試行)。すべての入力モードに対応しています:画像URL、RTSPストリーム、ローカル動画、Webカメラ。

  • 添付された画像や動画を理解します。チャットに画像または短い動画を添付、ドラッグ&ドロップ、または貼り付けできます。Agentはメディアを解析して内容を把握し、それに基づいてワークフローを構築し、同じメディアで再実行して結果を検証します。

  • 設定して管理する Rapid モデル。

  • 要求に応じてデータセットを管理します: プロジェクトの学習、検証、テストの分割を再調整する または プロジェクトを統合する 新しい1つに。どちらもバックグラウンドタスクとして実行され、Activity Centerで追跡できます。

  • プロジェクトを作成する 「+」タブから。「作成」の下の「新しいモデル」をクリックし、プロジェクトタイプを選択して、残りのフォームを入力します。作成されると、そのタブが新しいプロジェクトに変わります。

  • 開始する モデル学習 をプロジェクトタブから実行します。「学習」ボタンを使うと、タブ内で完全な学習フロー(エンジン、アーキテクチャ、バージョンの各ステップ)が開き、データセットのエクスポートも準備されます。

  • 開いているワークフロー、Rapidモデル、使用状況ビュー、プロジェクト、プランをタブに整理します。「+」タブを使って閉じた項目を再度開くか、新しい項目を作成します。続きの会話では、前のチャットの成果物が引き継がれます。

  • 「+」タブからモデルの1つを開きます。「最近のモデル」から1つ選ぶか、検索してワークスペース内のすべてのモデルを表示します。モデルは会話に紐づいたままなので、再読み込み後も再び開かれます。

  • 「Dataset」セクションを持つプロジェクトタブを開く プロジェクトの画像をラベリング段階ごとにグループ化する (未割り当て、アノテーション中、レビュー、データセット)。注釈エディタで任意の画像を開き、ジョブを次の段階に移動し、レビュー中の画像を承認または却下します。

  • ゾーンエディタを開いて、ワークフローの入力画像上に検出ゾーンを描画します。

  • UIイベントに反応します:Rapid学習の失敗を診断し、ワークフロー実行エラーを調査し(チャット入力欄の上にある「Investigate」プロンプト経由)、Rapidソースワークフローが準備できたら自動的に続行します。

  • ワークスペースの クレジット使用状況ダッシュボード を、質問に一致するフィルター(期間、機能、帰属、累計/日次、クレジット/ドル)付きで開きます。Agentは会話が続いている間、タブを同期したままにします。「請求を表示」権限が必要です。

  • 設定する Vision Events をワークフロー内で。モデルを実行するワークフローを作成すると、AgentはVision Eventsブロックを追加し、正しい ユースケースで構成します。必要であれば新規作成します。

  • 「Settings」セクションを持つプロジェクトタブを開くと、そこで アクティブラーニング をそのプロジェクトでオン/オフ切り替えし、収集の上限と条件を編集できます。

  • あなたの Vision Events データについて質問に答えます(例:「先週の失敗は何件?」「どのカメラが最も多くの不具合を出している?」)。Agentはイベントを数え、経時的な合格率と失敗率を追跡し、数値フィールドの合計、平均、最小、最大、または一意の値の数を求めることができます。合計はあなたの ユースケース レコード 保持期間を超える質問が来た場合、Agentは0と答える代わりに、問い合わせ可能な最も早い日付を伝えます。「View Vision Events」権限が必要です。参照: イベントを照会.

  • Vision Eventsの下書き、プレビュー、スケジュール設定 要約レポート を、欲しい要約の平易な説明から作成します(例:「ラインごとの合格数と不合格数を毎週金曜の朝にまとめた要約」)。Agentはイベントが実際に送信するフィールドからレポートを作成し、実データのプレビューを表示し、すぐに送信することも、選んだスケジュールでメール送信することもできます。

  • 読み取り専用アクセスで、エッジデバイスについて質問に答えます。あなたの Deployment Manager のフリート、設定、テレメトリ、ログ、イベント、ストリームを対象にします。Deployment Managerをクリックしてたどる代わりに、デバイスの状態やストリームエラーについて質問してください(例:「どのデバイスがオフラインですか?」「なぜこのストリームはエラーになったのですか?」)。デバイスの認証情報がAgentに共有されることはありません。

HTTP API

Agent APIを使うと、Roboflow AIエージェントと api.roboflow.comを通じてやり取りできます。 ワークフローを作成または編集するために自然言語の指示を送信でき、

認証は APIキーで行われます。 スコープ付きAPIキー をフォルダー制限付きで使用する場合、エージェントはそのフォルダースコープ内のワークフローにのみアクセスできます。

チャット

POST /:workspace/agent/chat

AIエージェントにメッセージを送信します。エージェントは新しいワークフローを作成し、既存のものを編集し、ワークスペースに関する質問に答えることができます。ワークフローの変更は下書きとして保存されます。

新しい会話を開始するか、次を渡すことで既存の会話を継続できます conversation_id.

ヘッダー

名前

Content-Type

application/json

本文

名前
種類
説明
必須

api_key

string

ワークスペースのAPIキー。

message

string

エージェントへの指示または質問。

conversation_id

string

継続する既存の会話のID。新しい会話を開始する場合は省略します。

mode

string

agent (デフォルト)または plan。planモードでは、エージェントは変更を加えずに行う内容を要約します。

リクエスト例

レスポンス

フィールド
説明

text

エージェントの応答テキスト。

workflows

このターン中に作成または変更されたワークフロー。各項目には id, name, urlが含まれ、下書きの specification.

conversation_id

会話ID。会話を継続するために、次回以降のリクエストでこれを返送してください。

必須スコープ: workflow:create および workflow:update.

ワークフローを公開する

POST /:workspace/agent/workflows/:workflowUrl/publish

エージェントによって作成または編集されたワークフローの最新の下書きバージョンをデプロイします。未公開の下書きがない場合、このエンドポイントは 400.

リクエスト例

レスポンス

必須スコープ: workflow:update.

会話一覧

GET /:workspace/agent/conversations

ワークスペース内のすべてのエージェント会話を返します。

クエリ

名前
種類
説明
必須

api_key

string

ワークスペースのAPIキー。

source

string

起点で絞り込む: api または web.

workflow

string

ワークフローURLスラッグで絞り込みます。このワークフローを参照している会話のみを返します。

リクエスト例

レスポンス

必須スコープ: workflow:read.

会話を取得する

GET /:workspace/agent/conversations/:id

すべてのメッセージを含む完全な会話を返します。

リクエスト例

レスポンス

必須スコープ: workflow:read.

エラーレスポンス

すべてのエンドポイントはエラーを { "error": "..." } という形式で、適切なHTTPステータスコードとともに返します。

ステータス
意味

400

不正なリクエスト(不足している message、公開する下書きがない、など)

401

APIキーがない、または無効です。

402

クレジットが不足しています。

403

スコープ不足、ワークフローがフォルダースコープ外、またはこのワークスペースでエージェント機能が無効です。

404

ワークフローまたは会話が見つかりません。

500

内部サーバーエラー。

ワークスペースレベルでエージェント機能が無効な場合、チャットと公開のエンドポイントは 403 を返し、 "error_type": "AGENT_DISABLED".

最終更新

役に立ちましたか?