Luxonis OAK

Myriad X VPU 가속이 적용된 OpenCV AI Kit에 Roboflow Train 모델을 배포하세요.

해당 Luxonis OAK (OpenCV AI Kit) 는 임베디드 컴퓨터 비전 시스템 배포에 널리 사용되는 엣지 디바이스입니다.

OAK 디바이스는 다운스트림 애플리케이션의 동작을 제어하는 호스트 머신과 함께 사용됩니다. 영감을 얻고 싶다면, Luxonis의 사용 사례 와 Roboflow의 사례 연구.

참고로: 아직 OAK 디바이스가 없다면, Roboflow Store에서 구매할 수 있습니다 10% 할인을 받을 수 있습니다.

작업 지원

호스팅된 API에서 다음 작업 유형을 지원합니다:

작업 유형

Luxonis OAK 배포에서 지원됨

객체 감지:

Roboflow에서 학습된 YOLOv8 모델, Fast와 Accurate 모두 지원
Roboflow에서 학습된 YOLOv11 모델

✅

분류

인스턴스 분할

시맨틱 분할

Luxonis OAK에 모델 배포하기

지원되는 Luxonis 디바이스 및 호스트 요구 사항

Roboflow Inference Server는 다음 디바이스를 지원합니다:

OAK-D
OAK-D-Lite
OAK-D-POE
OAK-1 (깊이 없음)

설치

다음을 설치하세요: roboflowoak, depthai그리고 opencv-python 패키지:

pip install roboflowoak
pip install depthai
pip install opencv-python

이제 roboflowoak 패키지를 사용하여 직접 학습한 Roboflow 모델을 실행할 수 있습니다.

추론 실행: 배포

깊이 기능이 없는 OAK 디바이스에 배포하는 경우, depth=False 를 인스턴스화(생성)할 때 설정하세요. rf 객체입니다. 깊이 기능이 있는 OAK는 모델 이름에 "D"가 붙습니다. 예: OAK-D, OAK-D-Lite.

또한, 다음을 주석 처리하세요: max_depth = np.amax(depth) 와 cv2.imshow("depth", depth/max_depth)

from roboflowoak import RoboflowOak
import cv2
import time
import numpy as np

if __name__ == '__main__':
    # RoboflowOak 모듈로 객체(rf) 인스턴스화
    rf = RoboflowOak(model="YOUR-MODEL-ID", confidence=0.05, overlap=0.5,
    version="YOUR-MODEL-VERSION-#", api_key="YOUR-PRIVATE_API_KEY", rgb=True,
    depth=True, device=None, blocking=True)
    # 모델을 실행하고 감지 결과와 함께 비디오 출력 표시
    while True:
        t0 = time.time()
        # rf.detect() 함수는 모델 추론을 실행합니다
        result, frame, raw_frame, depth = rf.detect()
        predictions = result["predictions"]
        #{
        #    predictions:
        #    [ {
        #        x: (중앙),
        #        y:(중앙),
        #        width:
        #        height:
        #        depth: ###->
        #        confidence:
        #        class:
        #        mask: {
        #    ]
        #}
        #frame - 예측이 적용된 전처리 후 프레임
        #raw_frame - OAK에서 가져온 원본 프레임
        #depth - raw_frame의 깊이 맵, 중앙 카메라에 맞춰 보정됨
        
        # 타이밍: 벤치마킹 용도
        t = time.time()-t0
        print("FPS ", 1/t)
        print("PREDICTIONS ", [p.json() for p in predictions])

        # 깊이 계산을 위한 파라미터 설정
        # 깊이 없는 OAK를 사용하는 경우 아래 두 줄을 주석 처리하세요
        max_depth = np.amax(depth)
        cv2.imshow("depth", depth/max_depth)
        # 연속 프레임으로 비디오 피드 표시
        cv2.imshow("frame", frame)
    
        # OAK 추론 창을 닫거나 추론을 중지하는 방법: CTRL+q 또는 CTRL+c
        if cv2.waitKey(1) == ord('q'):
            break

아래 코드를 입력하세요 (대괄호 안의 텍스트를 Python 스크립트 경로로 교체 후)

# 창을 닫으려면(중단 또는 추론 종료), 키보드에서 CTRL+c를 입력하세요
python3 /path/to/[YOUR-PYTHON-FILE].py

Apple Macbook Air (M1)을 호스트 디바이스로 사용할 때 추론 속도(밀리초)는 평균 약 15ms, 즉 66 FPS였습니다. 참고 : OAK와 함께 사용하는 호스트 디바이스에 따라 FPS가 크게 달라집니다. 시스템을 만들 때 이 점을 고려하세요.

문제 해결

OAK 디바이스 설정에 문제가 있다면 Luxonis의 설치 안내를 참고하고, RGB 예제를 성공적으로 실행할 수 있는지 확인하세요. Luxonis 설치도움이 필요하면 다음에 게시할 수도 있습니다: Roboflow Forum.

참고 자료

Previous변경 로그 - Lens Studio Next사용자 지정 모델 가중치 업로드

Last updated 3 months ago

Was this helpful?