इंटीग्रेशन और ऑटोमेशन

APIs, webhooks, और cloud storage integration के साथ Batch Processing को ऑटोमेट करें।

Batch Processing कार्य स्वचालन के लिए बहुत उपयुक्त है, खासकर जब प्रक्रियाओं को बार-बार चलाने की आवश्यकता होती है। यह पेज बताता है कि APIs और webhooks का उपयोग करके Roboflow Batch Processing को बाहरी सिस्टम्स के साथ कैसे इंटीग्रेट करें।

अवलोकन

एक सामान्य Batch Processing pipeline में निम्न शामिल होते हैं:

Data Ingestion — डेटा को Data Staging में अपलोड करें (इनपुट और आउटपुट डेटा के लिए ephemeral storage)।
प्रसंस्करण — ingested data के विरुद्ध एक Workflow चलाएँ, जिससे CSV/JSONL परिणाम उत्पन्न हों। इसके बाद आमतौर पर एक export चरण होता है जो आसान extraction के लिए compressed archives बनाता है।
Data Export — download links के माध्यम से output batch से results डाउनलोड करें।

API Reference

सभी CLI commands के समकक्ष REST API endpoints होते हैं। नीचे मुख्य API interactions दिए गए हैं।

Video Ingestion

curl -X POST "https://api.roboflow.com/data-staging/v1/external/{workspace}/batches/{batch_id}/upload/video" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY" \
  --data-urlencode "fileName=your_video.mp4"

Response में शामिल होता है "signedURLDetails" साथ में:

"uploadURL" — वीडियो को PUT करने के लिए URL
"extensionHeaders" — शामिल करने के लिए अतिरिक्त headers

वीडियो अपलोड करें:

curl -X PUT <response-se-url> \
  -H "Name: value" \
  --upload-file <path-to-your-video>

से सभी headers शामिल करें "extensionHeaders" response field।

Image Ingestion

Single Image Upload

5000 images तक के batches के लिए सबसे अच्छा। उसी batch के लिए bulk upload के साथ मिलाया नहीं जा सकता।

curl -X POST "https://api.roboflow.com/data-staging/v1/external/{workspace}/batches/{batch_id}/upload/image" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY" \
  --data-urlencode "fileName=your_image.jpg" \
  -F "your_image.jpg=@/path/to/your/image.jpg"

Bulk Upload

5000 से अधिक images वाले batches के लिए अनुशंसित। प्रति *.tar archive में 500 images तक bundle करें।

एक upload URL का अनुरोध करें:

curl -X POST "https://api.roboflow.com/data-staging/v1/external/{workspace}/batches/{batch_id}/bulk-upload/image-files" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY"

images को एक *.tar archive में, API द्वारा लौटाई गई size और file-count सीमाओं के अनुसार pack करें।
Response से signed URL और extension headers का उपयोग करके archive अपलोड करें।

Bulk-upload batches को उसी batch के लिए single-image uploads के साथ मिलाया नहीं जा सकता।

Bulk ingestion करते समय, data background में indexed होता है। सभी data उपलब्ध होने से पहले थोड़ी देरी हो सकती है।

Batch Status जांचें

Job शुरू करने से पहले, सत्यापित करें कि सभी data ingest हो चुके हैं:

curl -X GET "https://api.roboflow.com/data-staging/v1/external/{workspace}/batches/{batch_id}/count" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY"

Shard upload details (paginated) जांचने के लिए:

curl -X GET "https://api.roboflow.com/data-staging/v1/external/{workspace}/batches/{batch_id}/shards" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY" \
  --data-urlencode "nextPageToken=OptionalNextPageToken"

Job शुरू करें

curl -X POST "https://api.roboflow.com/batch-processing/v1/external/{workspace}/jobs/{job_id}?api_key=YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "type": "simple-image-processing-v1",
    "jobInput": {
        "type": "staging-batch-input-v1",
        "batchId": "{batch_id}"
    },
    "computeConfiguration": {
        "type": "compute-configuration-v2",
        "machineType": "cpu",
        "workersPerMachine": 4
    },
    "processingTimeoutSeconds": 3600,
    "processingSpecification": {
        "type": "workflows-processing-specification-v1",
        "workspace": "{workspace}",
        "workflowId": "{workflow_id}",
        "aggregationFormat": "jsonl"
    }
}'

Job ID constraints: केवल lowercase letters, digits, hyphens, और underscores। अधिकतम 20 characters।

Job Status की निगरानी करें

सामान्य job status:

curl -X GET "https://api.roboflow.com/batch-processing/v1/external/{workspace}/jobs/{job_id}" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY"

Job stages सूचीबद्ध करें:

curl -X GET "https://api.roboflow.com/batch-processing/v1/external/{workspace}/jobs/{job_id}/stages" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY"

किसी stage के लिए tasks सूचीबद्ध करें (paginated):

curl -X GET "https://api.roboflow.com/batch-processing/v1/external/{workspace}/jobs/{job_id}/stages/{stage_id}/tasks" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY" \
  --data-urlencode "nextPageToken={next_page_token}"

Results Export करें

Output batch के parts सूचीबद्ध करें:

curl -X GET "https://api.roboflow.com/data-staging/v1/external/{workspace}/batches/{batch_id}/parts" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY"

किसी part के लिए download URLs सूचीबद्ध करें (paginated):

curl -X GET "https://api.roboflow.com/data-staging/v1/external/{workspace}/batches/{batch_id}/list" \
  -G \
  --data-urlencode "api_key=YOUR_API_KEY" \
  --data-urlencode "nextPageToken=YOUR_NEXT_PAGE_TOKEN" \
  --data-urlencode "partName=YOUR_PART_NAME"

एक file डाउनलोड करें:

curl <download-url> -o <download-file-location>

Data Staging Batch Types

Simple batches (type: simple-batch) — data को एक-एक item करके ingest करते समय बनाए जाते हैं। 5000–10000 items तक के लिए सबसे अच्छे।
Sharded batches (type: sharded-batch) — bulk ingestion (केवल images) के माध्यम से बनाए जाते हैं। automatic sharding के साथ लाखों data points के लिए डिज़ाइन किए गए हैं।
Multipart batches (type: multipart-batch) — सिस्टम द्वारा आंतरिक रूप से बनाए जाते हैं। sub-batches का एक logical grouping जिसे एक entity के रूप में managed किया जाता है।

Webhook Automation

स्थिति के लिए polling करने के बजाय, आप webhooks का उपयोग करके सूचना प्राप्त कर सकते हैं जब ingestion या processing पूर्ण हो जाए।

Data Ingestion Webhooks

CLI commands create-batch-of-images और create-batch-of-videos समर्थन करते हैं:

--notifications-url <webhook_url> — notifications के लिए webhook endpoint।
--notification-category <value> — notifications फ़िल्टर करें:
- ingest-status (default) — समग्र ingestion process status।
- files-status — individual file processing status।

Notifications HTTP POST के माध्यम से भेजी जाती हैं, साथ में एक Authorization header जिसमें आपकी Roboflow Publishable Key होती है।

Ingest Status Notification

{
    "type": "roboflow-data-staging-notification-v1",
    "event_id": "8c20f970-fe10-41e1-9ef2-e057c63c07ff",
    "ingest_id": "8cd48813430f2be70b492db67e07cc86",
    "batch_id": "test-batch-117",
    "shard_id": null,
    "notification": {
        "type": "ingest-status-notification-v1",
        "success": false,
        "error_details": {
            "type": "unsafe-url-detected",
            "reason": "Untrusted domain found: https://example.com/image.png"
        }
    },
    "delivery_attempt": 1
}

File Status Notification

{
    "type": "roboflow-data-staging-notification-v1",
    "event_id": "8f42708b-aeb7-4b73-9d83-cf18518b6d81",
    "ingest_id": "d5cb69aa-b2d1-4202-a1c1-0231f180bda9",
    "batch_id": "prod-batch-1",
    "shard_id": "0d40fa12-349e-439f-83f8-42b9b7987b33",
    "notification": {
        "type": "ingest-files-status-notification-v1",
        "success": true,
        "ingested_files": [
            "000000494869.jpg",
            "000000186042.jpg"
        ],
        "failed_files": [
            {
                "type": "file-size-limit-exceeded",
                "file_name": "big_image.png",
                "reason": "Max size of single image is 20971520B."
            }
        ],
        "content_truncated": false
    },
    "delivery_attempt": 1
}

Job Completion Webhooks

जोड़ें --notifications-url जब job शुरू कर रहे हों:

inference rf-cloud batch-processing process-images-with-workflow \\
  --workflow-id <workflow-id> \\
  --batch-id <batch-id> \\
  --notifications-url <webhook_url>

Job Completion Notification

{
  "type": "roboflow-batch-job-notification-v1",
  "event_id": "8f42708b-aeb7-4b73-9d83-cf18518b6d81",
  "job_id": "<your-batch-job-id>",
  "job_state": "success | fail",
  "delivery_attempt": 1
}

Signed URL Ingestion

उन्नत automation के लिए, आप local files के बजाय signed URLs के माध्यम से data ingest कर सकते हैं:

--data-source references-file — signed URLs के माध्यम से संदर्भित files को process करें।
--references <path_or_url> — file URLs वाली JSONL file का path, या ऐसी file की ओर point करने वाला signed URL।

Reference File Format (JSONL)

{"name": "<unique-file-name-1>", "url": "https://<signed-url>"}
{"name": "<unique-file-name-2>", "url": "https://<signed-url>"}

Signed URL ingestion Growth Plan और Enterprise ग्राहकों के लिए उपलब्ध है।

Cloud Storage Authentication

AWS S3 और S3-Compatible Storage

Credentials स्वतः detect किए जाते हैं:

Environment variables:

export AWS_ACCESS_KEY_ID=your-access-key-id
export AWS_SECRET_ACCESS_KEY=your-secret-access-key
export AWS_SESSION_TOKEN=your-session-token  # वैकल्पिक

AWS credential files (~/.aws/credentials, ~/.aws/config)
IAM roles (EC2, ECS, Lambda)

Named profiles:

export AWS_PROFILE=production

S3-compatible services (Cloudflare R2, MinIO, etc.):

export AWS_ENDPOINT_URL=https://account-id.r2.cloudflarestorage.com
export AWS_REGION=auto  # R2 को region='auto' चाहिए
export AWS_ACCESS_KEY_ID=your-r2-access-key
export AWS_SECRET_ACCESS_KEY=your-r2-secret-key

Google Cloud Storage

Credentials यहां से detect किए जाते हैं:

Service account key file (automation के लिए अनुशंसित):

export GOOGLE_APPLICATION_CREDENTIALS=/path/to/service-account-key.json

User credentials gcloud CLI से (gcloud auth login)
GCP metadata service (जब Google Cloud Platform पर चल रहा हो)

Azure Blob Storage

SAS Token (अनुशंसित):

export AZURE_STORAGE_ACCOUNT_NAME=mystorageaccount
export AZURE_STORAGE_SAS_TOKEN="sv=2021-06-08&ss=b&srt=sco&sp=rl&se=2024-12-31"

Account Key:

export AZURE_STORAGE_ACCOUNT_NAME=mystorageaccount
export AZURE_STORAGE_ACCOUNT_KEY=your-account-key

Azure CLI के माध्यम से SAS token जनरेट करें:

az storage container generate-sas \
  --account-name mystorageaccount \
  --name my-container \
  --permissions rl \
  --expiry 2024-12-31T23:59:59Z

Custom Scripts

उन्नत use cases के लिए, signed URL files जनरेट करने हेतु scripts का संदर्भ लें:

AWS S3: generateS3SignedUrls.sh
Google Cloud Storage: generateGCSSignedUrls.sh
Azure Blob Storage: generateAzureSasUrls.sh

PreviousCLI उपयोग Nextसमस्या निवारण

Last updated 15 hours ago

Was this helpful?

hashtagअवलोकन

hashtagAPI Reference

hashtagVideo Ingestion

hashtagImage Ingestion

hashtagSingle Image Upload

hashtagBulk Upload

hashtagBatch Status जांचें

hashtagJob शुरू करें

hashtagJob Status की निगरानी करें

hashtagResults Export करें

hashtagData Staging Batch Types

hashtagWebhook Automation

hashtagData Ingestion Webhooks

hashtagIngest Status Notification

hashtagFile Status Notification

hashtagJob Completion Webhooks

hashtagJob Completion Notification

hashtagSigned URL Ingestion

hashtagReference File Format (JSONL)

hashtagCloud Storage Authentication

hashtagAWS S3 और S3-Compatible Storage

hashtagGoogle Cloud Storage

hashtagAzure Blob Storage

hashtagCustom Scripts

अवलोकन

API Reference

Video Ingestion

Image Ingestion

Single Image Upload

Bulk Upload

Batch Status जांचें

Job शुरू करें

Job Status की निगरानी करें

Results Export करें

Data Staging Batch Types

Webhook Automation

Data Ingestion Webhooks

Ingest Status Notification

File Status Notification

Job Completion Webhooks

Job Completion Notification

Signed URL Ingestion

Reference File Format (JSONL)

Cloud Storage Authentication

AWS S3 और S3-Compatible Storage

Google Cloud Storage

Azure Blob Storage

Custom Scripts