Azure Blob Storage

Azure Blob Storage से Roboflow में Images upload करें

Azure Blob Storage में image data storage को संभालते समय और Roboflow पर upload करते समय, आमतौर पर आपके पास दो विकल्प होते हैं: signed URLs का उपयोग करना या images को स्थानीय रूप से manually download करना (Azure CLI के माध्यम से) ताकि उन्हें locally upload किया जा सके। इन तरीकों में से चुनाव आपके data processing और management की विशिष्ट आवश्यकताओं पर निर्भर करता है।

• Signed URLs: यह विधि विशेष रूप से लाभदायक है यदि आप images को अपने local machine पर डाउनलोड करने से जुड़ी अतिरिक्त step और समय-खपत से बचना चाहते हैं। signed URL के साथ, आप image data को सीधे Azure Blob Storage से Roboflow API पर upload कर सकते हैं, बिना उसे कभी locally store किए। इससे processing तेज़ होती है और आपके local system पर load कम पड़ता है।

• CLI Locally: ऐसे scenarios हो सकते हैं जहाँ आप पहले images को अपने local environment में download करना पसंद करेंगे। उदाहरण के लिए, यदि आपको Roboflow पर upload करने से पहले images को preprocess करना है या manually check करना है, तो local copies लाभदायक होंगी।

सही method चुनना आपके विशिष्ट use-case requirements पर निर्भर करेगा, जैसे data transfer की speed, preprocessing की आवश्यकता, या images की manual inspection।

Azure Connection String

Storage Account बनाने के बाद, आप Azure portal में "Security + networking" के तहत "Access keys" अनुभाग में access keys या connection string ढूँढ सकते हैं। इन credentials का उपयोग आपके application को authenticate करने के लिए किया जाता है।

विकल्प 1: Signed URL के माध्यम से upload करें:

आप Python में Azure SDK द्वारा Azure Blob Storage में अपनी images के लिए signed URLs generate कर सकते हैं।

def get_blob_sas_url(blob_service_client, container_name: str, blob_name: str) -> str:
    """Azure Blob के लिए SAS URL उत्पन्न करें।"""
    from azure.storage.blob import generate_blob_sas, BlobSasPermissions
    from datetime import datetime, timedelta

    sas_token = generate_blob_sas(
        blob_service_client.account_name,
        container_name,
        blob_name,
        account_key=blob_service_client.credential.account_key,
        permission=BlobSasPermissions(read=True),
        expiry=datetime.utcnow() + timedelta(hours=1)
    )
    
    blob_url = f"https://{blob_service_client.account_name}.blob.core.windows.net/{container_name}/{blob_name}?{sas_token}"
    return blob_url

ऊपर दिए गए code snippet में, आपको blob service client, container name, और blob name की आवश्यकता होती है। image का signed URL generate किया जाता है और वापस लौटाया जाता है।

इसके आधार पर, हम एक complete solution बना सकते हैं जो Azure Blob Storage में उपलब्ध सभी objects को pull करता है, और फिर उन्हें API के माध्यम से Roboflow पर upload करता है। इस solution का एक outline नीचे देखा जा सकता है:

from azure.storage.blob import BlobServiceClient
import requests
import urllib.parse

# ************* इन variables को सेट करें *************
AZURE_CONNECTION_STRING = "YOUR_AZURE_CONNECTION_STRING"
AZURE_CONTAINER_NAME = "YOUR_AZURE_CONTAINER_NAME"
ROBOFLOW_API_KEY = "YOUR_ROBOFLOW_API_KEY"
ROBOFLOW_PROJECT_NAME = "YOUR_ROBOFLOW_PROJECT_NAME"
# ***********************************************

def get_blob_sas_url(blob_service_client, container_name: str, blob_name: str) -> str:
    """Azure Blob के लिए SAS URL उत्पन्न करें।"""
    from azure.storage.blob import generate_blob_sas, BlobSasPermissions
    from datetime import datetime, timedelta

    sas_token = generate_blob_sas(
        blob_service_client.account_name,
        container_name,
        blob_name,
        account_key=blob_service_client.credential.account_key,
        permission=BlobSasPermissions(read=True),
        expiry=datetime.utcnow() + timedelta(hours=1)
    )
    
    blob_url = f"https://{blob_service_client.account_name}.blob.core.windows.net/{container_name}/{blob_name}?{sas_token}"
    return blob_url

def get_azure_blob_objects(container_name: str) -> list:
    """दिए गए Azure Blob container में blob names की सूची प्राप्त करें।"""
    blob_service_client = BlobServiceClient.from_connection_string(AZURE_CONNECTION_STRING)
    container_client = blob_service_client.get_container_client(container_name)
    
    blobs = []
    blob_list = container_client.list_blobs()
    for blob in blob_list:
        blobs.append(blob.name)
    return blobs

def upload_to_roboflow(api_key: str, project_name: str, presigned_url: str, img_name='', split="train"):
    """Roboflow पर एक image upload करें।"""
    API_URL = "https://api.roboflow.com"
    if img_name == '':
        img_name = presigned_url.split("/")[-1]

    upload_url = "".join([
        API_URL + "/dataset/" + project_name + "/upload",
        "?api_key=" + api_key,
        "&name=" + img_name,
        "&split=" + split,
        "&image=" + urllib.parse.quote_plus(presigned_url),
    ])
    response = requests.post(upload_url)

    # response code जाँचें
    if response.status_code == 200:
        print(f"{img_name} को सफलतापूर्वक {project_name} में upload किया गया")
        return True
    else:
        print(f"{img_name} को upload करने में विफल। Error: {response.content.decode('utf-8')}")
        return False

if __name__ == "__main__":
    # उपलब्ध blobs की सूची प्राप्त करें
    available_blobs = get_azure_blob_objects(AZURE_CONTAINER_NAME)
    
    # वैकल्पिक: यहाँ blobs को फ़िल्टर करें
    # उदाहरण: available_blobs = [blob for blob in available_blobs if "some_condition"]
    
    # Azure Blob Service Client को initialize करें
    blob_service_client = BlobServiceClient.from_connection_string(AZURE_CONNECTION_STRING)
    
    # blobs को Roboflow पर upload करें
    for blob in available_blobs:
        blob_url = get_blob_sas_url(blob_service_client, AZURE_CONTAINER_NAME, blob)
        upload_to_roboflow(ROBOFLOW_API_KEY, ROBOFLOW_PROJECT_NAME, blob_url)

विकल्प 2: Azure से Data को Local रूप से Download करें

पहले, install करें azcopy command line utility. यह utility आपको Azure Storage से files और folders डाउनलोड करने देती है। फिर, अपने Azure account के साथ एक Shared Access Signature आप इसके बारे में अधिक जान सकते हैं SAS token प्राप्त करने का तरीका azcopy documentation में।

एक बार आपके पास azcopy set up हो जाने पर, किसी फ़ाइल या फ़ोल्डर को डाउनलोड करने के लिए निम्न कमांड चलाएँ:

azcopy copy "C:\local\path" <sas-token> --recursive=true

बदलें C:\local\path उस फ़ोल्डर या फ़ाइल के path से बदलें जिसे आप डाउनलोड करना चाहते हैं। को बदलें <sas-token> मान को authentication के लिए SAS token से बदलें। यदि आप files और folders को recursively download करना चाहते हैं, तो जैसा ऊपर है, --recursive=true argument निर्दिष्ट करें। अन्यथा, इस argument को हटाएँ।

Roboflow पर Data Upload करें

अब जब हमने data डाउनलोड कर लिया है, हम इसे Roboflow पर या तो Upload Web Interface या Roboflow CLI.

यह भी देखें

• Roboflow project ID प्राप्त करें