AWS S3 बकेट

AWS S3 बकेट से रोबोफ्लो में छवियाँ अपलोड करें

AWS S3 में इमेज डेटा स्टोरेज और Roboflow पर अपलोड करने के मामले में, आपके पास आमतौर पर दो विकल्प होते हैं: साइन किए गए URL का उपयोग करना या इमेज को मैन्युअली लोकली डाउनलोड करना (AWS CLI के माध्यम से) ताकि आप उन्हें लोकली अपलोड कर सकें। इन तरीकों में से किसे चुनना है, यह आपके डेटा प्रोसेसिंग और प्रबंधन की विशिष्ट आवश्यकताओं पर निर्भर करता है।

• साइन किए गए URLयह तरीका विशेष रूप से तब फायदेमंद है जब आप इमेज को अपने लोकल मशीन पर डाउनलोड करने की अतिरिक्त प्रक्रिया और समय से बचना चाहते हैं। साइन किए गए URL के साथ, आप S3 से Roboflow API पर इमेज डेटा को सीधे अपलोड कर सकते हैं, बिना उसे लोकली स्टोर किए। इससे प्रोसेसिंग तेज होती है और आपके लोकल सिस्टम पर कम लोड पड़ता है।

• CLI स्थानीय रूप से: ऐसे परिदृश्य हो सकते हैं जहाँ आप पहले छवियों को अपने स्थानीय वातावरण में डाउनलोड करना पसंद करेंगे। उदाहरण के लिए, यदि आपको छवियों को प्रोसेस करना है या Roboflow पर अपलोड करने से पहले उन्हें मैन्युअली जांचना है, तो स्थानीय प्रतियां होना फायदेमंद रहेगा।

सही विधि का चयन आपकी विशिष्ट उपयोग-केस आवश्यकताओं पर निर्भर करेगा, जैसे डेटा ट्रांसफर की गति, प्रोसेसिंग की आवश्यकता, या छवियों की मैन्युअल जांच।

AWS CLI सेटअप

स्क्रिप्ट का उपयोग करने से पहले, सुनिश्चित करें कि आपने आवश्यक प्रमाणीकरण क्रेडेंशियल्स के साथ AWS CLI सेटअप कर लिया है। इससे आप वांछित S3 बकेट को एक्सेस और प्रबंधित कर सकते हैं।

• AWS CLI वर्शन 2 इंस्टॉल करना

AWS CLI को कॉन्फ़िगर करना

1. AWS CLI इंस्टॉल करने के बाद, एक टर्मिनल या कमांड प्रॉम्प्ट खोलें।

2. निम्नलिखित कमांड चलाएँ:

   aws configure

3. आपसे आपके AWS क्रेडेंशियल्स मांगे जाएंगे:

   AWS Access Key ID [None]: YOUR_ACCESS_KEY
   AWS Secret Access Key [None]: YOUR_SECRET_ACCESS_KEY
   Default region name [None]: YOUR_PREFERRED_REGION (जैसे, us-west-1)
   Default output format [None]: json

विकल्प 1: साइन किए गए URL के माध्यम से अपलोड करें:

आप Python में boto3 का उपयोग करके अपने S3 बकेट में इमेज के लिए साइन किए गए URL जेनरेट कर सकते हैं।

def generate_presigned_url(bucket_name: str, object_name: str, region: str = 'us-east-2') -> str:
    """S3 ऑब्जेक्ट के लिए एक presigned URL जेनरेट करें।"""
    s3 = boto3.client('s3', region_name=region, config=Config(signature_version='s3v4'))
    url = s3.generate_presigned_url('get_object',
                                    Params={'Bucket': bucket_name, 'Key': object_name},
                                    ExpiresIn=3600)
    return url

ऊपर दिए गए कोड स्निपेट में, आपको अपने S3 बकेट का नाम, S3 बकेट में इमेज का ऑब्जेक्ट नाम और aws क्षेत्र की आवश्यकता होगी। इमेज का साइन किया गया URL जेनरेट होकर रिटर्न होता है।

इसके आधार पर, हम एक संपूर्ण समाधान बना सकते हैं जो S3 बकेट में उपलब्ध सभी ऑब्जेक्ट्स को प्राप्त करता है, और फिर उन्हें API के माध्यम से Roboflow पर अपलोड करता है। इस समाधान की रूपरेखा नीचे देखी जा सकती है:

import boto3
import requests
import urllib.parse
from botocore.config import Config

# ************* इन वेरिएबल्स को सेट करें *************
S3_BUCKET_NAME = "YOUR_S3_BUCKET_NAME"
ROBOFLOW_API_KEY = "YOUR_ROBOFLOW_API_KEY"
ROBOFLOW_PROJECT_NAME = "YOUR_ROBOFLOW_PROJECT_NAME"
# ***********************************************

def generate_presigned_url(bucket_name: str, object_name: str, region: str = 'us-east-2') -> str:
    """S3 ऑब्जेक्ट के लिए एक presigned URL जेनरेट करें।"""
    s3 = boto3.client('s3', region_name=region, config=Config(signature_version='s3v4'))
    url = s3.generate_presigned_url('get_object',
                                    Params={'Bucket': bucket_name, 'Key': object_name},
                                    ExpiresIn=3600)
    return url

def get_s3_objects(bucket_name: str) -> list:
    """दिए गए S3 बकेट में ऑब्जेक्ट कीज़ की सूची प्राप्त करें।"""
    s3 = boto3.client('s3')
    objects = []
    response = s3.list_objects_v2(Bucket=bucket_name)
    for obj in response['Contents']:
        objects.append(obj['Key'])
    return objects

def upload_to_roboflow(api_key: str, project_name: str, presigned_url: str, img_name='', split="train"):
    """Roboflow पर एक छवि अपलोड करें।"""
    API_URL = "https://api.roboflow.com"
    if img_name == '':
        img_name = presigned_url.split("/")[-1]

    upload_url = "".join([
        API_URL + "/dataset/" + project_name + "/upload",
        "?api_key=" + api_key,
        "&name=" + img_name,
        "&split=" + split,
        "&image=" + urllib.parse.quote_plus(presigned_url),
    ])
    response = requests.post(upload_url)

    # प्रतिक्रिया कोड जांचें
    if response.status_code == 200:
        print(f"{img_name} को {project_name} में सफलतापूर्वक अपलोड किया गया")
        return True
    else:
        print(f"{img_name} को अपलोड करने में विफल। त्रुटि: {response.content.decode('utf-8')}")
        return False

if __name__ == "__main__":
    # उपलब्ध इमेज की सूची प्राप्त करें
    available_images = get_s3_objects(S3_BUCKET_NAME)
    
    # वैकल्पिक: यहाँ इमेज को फ़िल्टर करें
    # जैसे, available_images = [img for img in available_images if "some_condition"]
    
    # इमेज को Roboflow पर अपलोड करें
    for image in available_images:
        presigned_url = generate_presigned_url(S3_BUCKET_NAME, image)
        upload_to_roboflow(ROBOFLOW_API_KEY, ROBOFLOW_PROJECT_NAME, presigned_url)

विकल्प 2: AWS से डेटा लोकली डाउनलोड करें

AWS से डेटा अपलोड करने के लिए, पहले इंस्टॉल करें awscli कमांड लाइन टूल. यह टूल आपको कमांड लाइन पर अपने AWS अकाउंट के साथ इंटरैक्ट करने की अनुमति देता है। एक बार जब आपने कमांड लाइन टूल इंस्टॉल कर लिया, तो निम्नलिखित कमांड चलाएँ:

aws s3 sync s3://mybucket/folder_path .

बदलें mybucket अपने बकेट के नाम के साथ और folder_path उस फोल्डर या फाइल के नाम के साथ जिसे आप एक्सपोर्ट करना चाहते हैं। यह कमांड AWS से एक एसेट को आपके वर्तमान वर्किंग डायरेक्टरी में डाउनलोड कर देगा (.).

Roboflow पर डेटा अपलोड करें

अब जब हमने डेटा डाउनलोड कर लिया है, तो हम इसे या तो Upload Web Interface या Roboflow CLI.

यह भी देखें

• Roboflow प्रोजेक्ट ID प्राप्त करें