> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/get-started/ja/jento/roboflow-agent.md).

# Roboflow Agent

WorkflowsとRapidモデルを構築、実行、デバッグするアプリ内Roboflow Agentと、そのHTTPチャットAPI。

## 概要

Roboflow Agent は次のものにアクセスでき、 [ワークスペース](https://docs.roboflow.com/get-started/ja/purattofmu/workspaces/key-concepts.md) の作成、編集、実行、デバッグができます。 [ワークフロー](https://docs.roboflow.com/workflows)。また、次の設定にも使用できます： [Rapid](https://docs.roboflow.com/models/rapid/rapid) モデル。ワークスペースの左サイドバーにある「Agent」をクリックすると、Agent にアクセスできます。

<figure><img src="https://2537277549-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F1YMZNIiZMBdlCHUDeZMP%2Fuploads%2Fgit-blob-e08163ee75bce9853bb94d3581efc5910405e091%2Frf-agent.png?alt=media" alt=""><figcaption></figcaption></figure>

### 機能

Agent では次の操作ができます：

* [ワークフロー](https://docs.roboflow.com/workflows)：平易な説明からワークフローを作成し、画像、RTSP ストリーム、動画、ブラウザーのウェブカメラ、またはスマートフォンのカメラで実行できます。指定した動画の一部分だけを実行したり、ライブプレビューを確認したり、失敗を自動修正したり、実行エラーを調査したり、検出ゾーンを描画したりできます。カメラを追加するには、Agent に尋ねられたときに「Webcam」、「Network Streams」、「Phone」のいずれかを選択してください。ウェブカメラまたはスマートフォンのストリームは、ブラウザーのセッションが終了すると停止します。
* 添付メディア：チャットにドロップした画像や MP4 または MOV 動画を分析し、それらを使ってワークフローを作成・検証できます。
* 画像生成：写真がまだない場合、テキストによる説明から1～10枚の画像を作成できます。画像の生成を依頼すると Agent が開始します。料金の見積もりが必要な場合は、先に価格を尋ねてください。各画像は次に保存されます： [アセットライブラリ](https://docs.roboflow.com/get-started/ja/purattofmu/workspaces/asset-library.md)。料金が発生するのは保存された画像のみです。Agent は、参照画像としてユーザー自身の画像を使用できません。
* [Rapid](https://docs.roboflow.com/models/rapid/rapid) モデル：トレーニングの設定、管理、失敗の診断を行えます。
* [ワークフロー評価](https://docs.roboflow.com/workflows/evaluate/workflow-evals)：評価を作成し、チャットで正解データを確認・承認し、ワークフローを実行・比較して、結果を説明できます。クレジットを消費する実行を開始する前に、Agent が確認を求めます。最良のワークフローを未公開の下書きとして保存できます。プロジェクトを評価する際、Agent はそのプロジェクトで現在使用中のモデルを使ったワークフローを使用します。また、プロジェクトのテストセットとラベルをインポートし、承認を求めることができます。
* プロジェクト： [プロジェクトを作成](https://docs.roboflow.com/datasets/create-and-upload/create-a-project#create-a-project-from-the-agent)、 [モデルのトレーニング](https://docs.roboflow.com/models/train/train-a-model#train-from-the-agent), [、分割を再調整](https://docs.roboflow.com/datasets/versions/dataset-versions/create-a-dataset-version#readjusting-train-validation-test-splits), [、プロジェクトを統合](https://docs.roboflow.com/datasets/manage/merge-datasets)し、プロジェクトの [データセットのヘルスチェック](https://docs.roboflow.com/datasets/versions/dataset-health-check#roboflow-agent) を読み込んだり更新したりして、データの問題を特定できます。
* Universe データセット： [Universe](https://docs.roboflow.com/datasets/universe/universe/what-is-roboflow-universe)で公開データセットを検索・比較し、 [データセット全体、または指定した枚数の画像をコピー](https://docs.roboflow.com/datasets/universe/universe/fork-a-universe-dataset#roboflow-agent) してプロジェクトに追加できます。Agent がコピーを開始する前に、チャットでデータソース、画像の枚数、クラスの変更内容を確認します。
* アクション認識プロジェクト：動画を追加し、 [動画セグメント](https://docs.roboflow.com/datasets/annotate/annotate/annotate-video-segments)を追加、編集、またはインポートし、動画に自動ラベル付けを実行し、タブのタイムラインでセグメントを確認できます。その後、動画を動画単位の分割でデータセットに追加し、バージョンを作成して動画モデルをトレーニングできます。モデルの料金見積もりがない場合、Agent はトレーニングを開始する前に確認を求めます。
* データセット： [ラベル付けの段階別に画像を閲覧](https://docs.roboflow.com/datasets/annotate/annotate/team-collaboration#browse-labeling-work-from-the-agent), [ワークスペースの画像をモデルに追加してラベル付けを開始](https://docs.roboflow.com/datasets/annotate/annotate/team-collaboration#add-images-and-start-annotating)し、バッチをレビューに送信したり、編集のために差し戻したりできます。また、レビューで画像を承認または却下（ジョブと画像の枚数を確認した後）し、画像をデータセットに追加したり、作業を未割り当てに戻したりできます。
* [バッチ処理](https://docs.roboflow.com/deployment/roboflow-cloud/batch-processing)：アセットライブラリ内の画像に公開済みワークフローを実行し、チャットで新しいジョブを設定し、ジョブの一覧を表示して、ジョブのステータスを確認できます。
* [異常検知](https://docs.roboflow.com/models/supported-tasks/anomaly-detection) プロジェクト：バッチに「正常」または「異常」のラベルを付けてレビューに送信できます。ラベル付けによって画像が承認されたり、データセットに追加されたりすることはありません。画像をデータセットに追加すると、正常な画像はどの分割にも追加できますが、異常な画像は有効データとテストデータにのみ追加されます。
* [アクティブラーニング](https://docs.roboflow.com/deployment/monitoring-and-analytics/active-learning)：プロジェクトごとにデータ収集のオン・オフを切り替え、上限と条件を編集できます。
* [Vision Events](https://docs.roboflow.com/deployment/monitoring-and-analytics/vision-events)：ワークフローにブロックを追加し、 [イベントデータに関する質問に回答できます](https://docs.roboflow.com/deployment/monitoring-and-analytics/vision-events/query-events)とスケジュール設定 [概要レポート](https://docs.roboflow.com/deployment/monitoring-and-analytics/vision-events/summary-reports).
* 使用状況: 質問に合ったフィルターを適用した [クレジット使用状況ダッシュボード](https://docs.roboflow.com/get-started/ja/purattofmu/billing-and-plans/view-credit-usage.md) を表示します。
* エッジデバイス: 読み取り専用アクセスで、 [デプロイメントマネージャー](https://docs.roboflow.com/deployment/self-hosted/enterprise/deployment-manager) のデバイス群、テレメトリー、ログ、ストリームについて質問できます。
* タブ: 開いているワークフロー、モデル、プロジェクト、使用状況ビューを整理します。ドラッグして並べ替えたり、閉じた項目を再度開いたり、「+」タブから新しい項目を作成したりできます。

### ワークフローの公開

エージェントによる編集内容が反映されるかどうかは、ワークフローの [公開モード](https://docs.roboflow.com/workflows/build/workflows-ai-assistant#publishing-mode)によって決まります。「自動公開」モードでは、保存するたびに公開されるため、新しいワークフローはすぐに使用可能になります。「手動公開」モードでは、エージェントによる編集内容は下書きとして保存され、公開中のワークフローには反映されません。

保存した下書きを公開するには、チャットボックスの上にあるアセットバーでワークフローを探します。ワークフローに保存済みの未公開変更がある場合、「対応が必要」チップが表示されます。「公開」をクリックすると公開中のワークフローが更新され、「コピーとして公開」をクリックすると下書きを新しいワークフローとして公開し、元のワークフローは変更せずに残せます。「閉じる」をクリックすると、公開せずに下書きを保持します。ワークフローを公開する権限と、ワークフローのフォルダーへの書き込みアクセス権が必要です。

公開済みのワークフローをコードで使用するには、エージェントにサポートを依頼してください。「クイックAPI呼び出し」か「コーディングエージェント」のどちらを使うか尋ねられます。「クイックAPI呼び出し」を選ぶと、チャットにコードスニペットが表示されます。「コーディングエージェント」を選ぶと、「コーディングエージェントでデプロイ」カードが表示されます。カードをクリックすると、コーディングエージェントにコピーするプロンプトが開きます。ワークフローに未公開の変更がある場合、エージェントは先に公開するよう求めます。

### メディアを追加

ファイルをチャット内のどこにでもドロップして、エージェントに渡せます。貼り付けることも、チャットボックスのクリップアイコンをクリックして「ファイルを添付」または「フォルダーを添付」を選ぶこともできます。ホームページでは「+」をクリックして「ファイルを添付」を選びます。フォルダーを添付すると、その中のファイルが展開されます。zipファイルはドロップした場合にのみ展開され、最大300ファイルまでです。300ファイルを超えるzipの場合は、 [データのアップロードページ](https://docs.roboflow.com/datasets/create-and-upload/adding-data#upload-a-zip-file).

ウェブカメラで写真、一定間隔のフレーム、またはMP4動画を撮影するには、クリップアイコンまたは「+」をクリックして「カメラを使用」を選びます。エージェントがメディアを要求する場合、そのリクエストにも「カメラを使用」ボタンが表示されます。動画の録画後、「動画を保持」をクリックします。次に、追加ボタン（例:「3件をメッセージに追加」、「動画をメッセージに追加」）をクリックして、撮影したメディアを次のメッセージに添付します。

メッセージを送信するとアップロードが始まり、バックグラウンドで処理されるため、チャットを続けられます。チャット内のカードに進行状況と「キャンセル」ボタンが表示され、アップロードはバックグラウンドタスクパネルにも表示されます。画像と動画は [アセットライブラリ](https://docs.roboflow.com/get-started/ja/purattofmu/workspaces/asset-library.md)に保存され、各画像には撮影時刻が [メタデータ](https://docs.roboflow.com/datasets/create-and-upload/adding-data/image-metadata#capture-time).

として保持されます。アノテーションファイルを含むアップロードや、2つ以上のフォルダーに画像があるアップロードは、すぐには開始されず、保存先の指定を待ちます。エージェントはそれらをモデルまたはワークスペースに送信します。メッセージで保存先が明確に指定されていない場合は、先に確認します。モデルの場合、フォルダー名（例: `train`, `valid`, `test`）によってデータ分割が決まります。フォルダー名やアノテーションで分割が指定されていないファイルは、デフォルトでトレーニング用70%、検証用20%、テスト用10%に割り当てられます。

### クラウドストリーミング

エージェントにカメラへの接続を依頼し、既存のソースを選択して、ワークフローの下書きを [クラウドストリーミング](https://docs.roboflow.com/deployment/roboflow-cloud/cloud-streaming)でプレビューします。カメラのネットワーク上にコネクターを設置する場合は「ネットワークストリーム」を、一時的なブラウザーセッションの場合は「ウェブカメラ」または「スマートフォン」を使用します。

対象となるカメラのプレビューを継続して実行するには、デプロイするよう明示的に依頼してください。昇格すると、公開や再起動を行わずに、現在のスナップショット、ランタイム状態、シンク設定が保持されます。一時的なウェブカメラまたはスマートフォンのセッションは昇格できません。後から編集内容を適用するには、デプロイメントを更新するよう明示的に依頼してください。公開するだけでは、実行中のジョブは変更されません。

停止を依頼する際は、ワークフローまたはジョブの名前を指定してください。プレビューを切断したり、チャットを閉じたりしても、別途実行中の継続的なデプロイメントは停止しません。全体の手順については [エージェントクイックスタート](https://docs.roboflow.com/deployment/roboflow-cloud/cloud-streaming/quickstart#roboflow-agent) を、課金と利用期間の上限については [料金と上限](https://docs.roboflow.com/deployment/roboflow-cloud/cloud-streaming/pricing-and-limits) をご覧ください。これらのアプリ内操作に対応する、単独で利用可能な公開SDKメソッドはありません。

### バックグラウンドタスク

エージェントが開始した時間のかかるジョブは、チャット中も実行され続けます。対象は、モデルのトレーニング、Universeデータセットのコピー、自動ラベリング、データセットバージョンの生成、プロジェクトの統合、クラスの再マッピング、データ分割の再調整、バッチ処理ジョブです。チャットボックスの上にあるピルに、実行中のタスク数が表示されます。それをクリックするか、左側のメニューで「バックグラウンドタスク」をクリックすると、「実行中」と「完了」の項目が並ぶパネルが開きます。タスクをクリックすると、そのタスクによって作成されたページが開きます。

タスクが完了すると、タブを閉じて後から戻った場合でも、エージェントがチャットで知らせます。ここに表示されるのは、会話内から開始したジョブだけです。アプリの別の場所やAPI経由で開始したトレーニングは表示されません。その場合はアクティビティセンターで確認してください。

### ワークスペースのLLMキー

独自のOpenAIまたはAzure OpenAIキーを使ってエージェントを実行できるため、データがRoboflowのLLMキーを経由することはありません。この設定は、ワークフローエディターのアシスタント、カスタムブロックアシスタント、エージェントAPIにも適用されます。

{% hint style="info" %}
この機能を利用するには、Roboflowによるワークスペースへの有効化が必要です。利用を申請するには、担当のアカウントチームにお問い合わせください。EUリージョンでは利用できません。
{% endhint %}

1. ワークスペースの設定で「サードパーティキー」をクリックします。
2. OpenAI APIキー、またはAzure OpenAIの「リソース名」と「Azure OpenAI APIキー」を追加します。
3. 「ワークスペースのLLMキー」で「プロバイダー」と「モデル」を選択します。Azure OpenAIの場合は、「デプロイ名」と「このデプロイで使用するモデル」も入力します。
4. 「接続をテスト」をクリックします。
5. 「ワークスペースのLLMキーを必須にする」をオンにしてから、「保存」をクリックします。

これをオンにすると、すべてのリクエストで独自のキーが使用されます。キーが機能しない場合、リクエストはエラーで停止し、Roboflowのキーにはフォールバックしません。ワークフローのOpenAIブロックとGeminiブロックはワークスペースのキーで実行され、独自のキーに対応していないAI機能（例: 他のLLMブロック）は無効になります。会話のトレースは記録されず、LLMの費用がクレジットとして請求されることもありません。

「Enforce Workspace LLM Keys」が有効な間は、画像生成が無効になります。

Workflow の OpenAI ブロックと Auto Label は、「Third Party Keys」にある「OpenAI API Key」を使用します。Azure OpenAI リソースで実行するには、そこに Azure キーを入力し、「Azure OpenAI Endpoint」に値を設定します（例: `https://my-resource.openai.azure.com`）。Azure では、各デプロイメントの名前を、実行するモデル名にしてください（例: `gpt-6-astra`）。OpenAI API キーがないと、Agent は Workflow に OpenAI ブロックを追加できません。

{% hint style="info" %}
Agent は選択したモデルで動作するため、Roboflow のキーを使う場合とは挙動が異なることがあります。モデルがサポートする機能によっては、一部のタスクの動作や結果が異なる場合があります。
{% endhint %}

## HTTP API

Agent API を使用すると、 `api.roboflow.com`を通じて Roboflow AI agent とやり取りできます。自然言語の指示を送信して、 [Workflow](https://docs.roboflow.com/workflows/build/create-a-workflow)を作成または編集できます。Agent が作成した Workflow はすぐに有効になります。Workflow が自動公開に設定されている場合、編集内容はすぐに公開されます。保護されている場合は、公開するまで下書きのままです。

認証には [API キー](https://docs.roboflow.com/reference/platform/rest-api/authenticate-with-the-rest-api)を使用します。 [スコープ付き API キー](https://docs.roboflow.com/reference/authentication/authentication/scoped-api-keys) にフォルダー制限が設定されている場合、Agent がアクセスできるのは、そのフォルダーの範囲内にある Workflow とモデルのみです。また、フォルダー外のプロジェクトは表示されません。Agent にワークスペースのモデル一覧を求めた場合も、呼び出し元がすでに表示できるモデルのみが返されます。

### チャット

Agent にメッセージを送信します。新しい会話を開始するか、 `conversation_id`.

{% openapi src="/files/8a54e6ff076fb3a16ed8efea3adc214ee711d1cd" path="/{workspace}/agent/chat" method="post" %}
[agent-api.yaml](https://2537277549-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F1YMZNIiZMBdlCHUDeZMP%2Fuploads%2Fgit-blob-c0a8fd5007c2ed69b13d766f3c42b30ce62a46f4%2Fagent-api.yaml?alt=media)
{% endopenapi %}

### Workflow を公開

Agent が作成または編集した Workflow の最新の下書きをデプロイします。

{% openapi src="/files/8a54e6ff076fb3a16ed8efea3adc214ee711d1cd" path="/{workspace}/agent/workflows/{workflowUrl}/publish" method="post" %}
[agent-api.yaml](https://2537277549-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F1YMZNIiZMBdlCHUDeZMP%2Fuploads%2Fgit-blob-c0a8fd5007c2ed69b13d766f3c42b30ce62a46f4%2Fagent-api.yaml?alt=media)
{% endopenapi %}

### 会話一覧

{% openapi src="/files/8a54e6ff076fb3a16ed8efea3adc214ee711d1cd" path="/{workspace}/agent/conversations" method="get" %}
[agent-api.yaml](https://2537277549-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F1YMZNIiZMBdlCHUDeZMP%2Fuploads%2Fgit-blob-c0a8fd5007c2ed69b13d766f3c42b30ce62a46f4%2Fagent-api.yaml?alt=media)
{% endopenapi %}

### 会話を取得

{% openapi src="/files/8a54e6ff076fb3a16ed8efea3adc214ee711d1cd" path="/{workspace}/agent/conversations/{id}" method="get" %}
[agent-api.yaml](https://2537277549-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F1YMZNIiZMBdlCHUDeZMP%2Fuploads%2Fgit-blob-c0a8fd5007c2ed69b13d766f3c42b30ce62a46f4%2Fagent-api.yaml?alt=media)
{% endopenapi %}

## MCP サーバー

AI エージェントを [MCP サーバー](https://docs.roboflow.com/get-started/ja/jento/mcp-server.md) に接続すると、次のツールを使って Roboflow Agent に作業を引き継げます。

<table data-search="false"><thead><tr><th width="290">ツール</th><th>説明</th></tr></thead><tbody><tr><td><code>agent_chat</code></td><td>Roboflow AI agent とチャットします。</td></tr><tr><td><code>agent_chat_result</code></td><td>処理中だった実行の結果を取得します。</td></tr><tr><td><code>agent_conversations_list</code></td><td>ワークスペース内の Agent の会話一覧を取得します。</td></tr><tr><td><code>agent_conversation_get</code></td><td>メッセージ履歴を含む会話を1件取得します。</td></tr><tr><td><code>agent_workflow_publish</code></td><td>Agent が編集した Workflow の最新の下書きを公開します。</td></tr></tbody></table>
