Inference 1.0: 모듈식 비전 실행 엔진

Inference 1.0이 이제 사용 가능합니다. 이는 컴퓨터 비전 모델을 실행하기 위한 새롭게 설계된 예측 엔진입니다. 이번 업데이트는 더 빠른 모델 로딩, 향상된 리소스 활용, 그리고 서빙과 모델 런타임 간의 더 깔끔한 분리에 중점을 둡니다.

새 엔진은 멀티 백엔드 지원(PyTorch, ONNX, TensorRT 등), 자동 모델 로딩, 그리고 필요한 구성 요소만 설치하면 되는 조합 가능한 종속성 시스템을 제공합니다. 이를 통해 로컬 배포, Docker 워크로드, 엣지 디바이스, 프로덕션 시스템을 위한 모듈식 아키텍처를 제공합니다.