딥러닝 위해서는 많은 레이블 이미지 데이터 등 학습자료 필요해
현장 중심의 딥러닝 재학습 적용 가능한 AI 자동 학습 플랫폼
[보안뉴스 엄호식 기자] 비전 AI는 이미지 및 영상에 표출된 객체를 이해하는 것이다. 해당 객체가 무엇이며 어디에 위치해 있는가를 인식하는 객체검출기능을 기본으로 검출된 객체 대상에 따라서 세부적인 포즈 및 액션을 인식하는 객체인식기능 및 다중 객체간의 관계를 통해서 특정 상황을 인식하는 기능을 포함한다.
많은 경우에 비전 AI를 구현하기 위해서 딥러닝 기반의 학습·추론 기술을 활용한다. 딥러닝 네트워크를 학습시키기 위해서 많은 양의 학습 데이터가 필요한데, 검출 및 인식하고자 하는 객체를 담고 있는 이미지 즉, 레이블(객체가 무엇이며 어디에 위치해 있는지에 대한 정보)이 추가된 이미지를 확보해야 한다. 학습된 딥러닝 네트워크를 활용해 이미지에 있는 객체가 무엇인지 분류하고 위치를 예측할 수 있다.
이러한 추론은 전적으로 학습에 의존하기 때문에 학습 데이터가 실제 데이터에 얼마나 유사한지에 따라서 예측 정확도가 달라진다. 현재 딥러닝 방식으로 비전 AI 문제를 해결하려는 시도가 활발하게 진행되고 있는 상황이나, 산업계에서 활용 가능한 응용을 제공하는데 있어서 해결해야할 도전과제가 많이 있다.
딥러닝 적용에 있어 가장 어려운 것
딥러닝 적용에 있어 가장 어려운 것은 학습을 위해 많은 레이블 이미지 데이터가 필요하다는 것이다. 적용 도메인에 따라서 약간의 차이는 있지만 근본적으로 레이블링 비용이 매우 크며, 시간이 많이 걸리는 문제가 있다. 또한, 초기 학습 데이터는 실제 적용되는 현장에 취득할 수 있는 제한된 샘플이기에, 실제 데이터 전체를 대표하지 못하기 때문에 성능을 높이기 위해서는 추가 학습 데이터 취득 및 재학습이 반복적으로 진행돼야 한다.
더 나아가서 환경 변화에 따른 실제 데이터의 분포가 조금씩 달라질 수 있기에 변화하는 환경에 적응하기 위해서 추가적인 학습이 필요하다. 더욱이, 산업계에서 요구하는 비전 AI 응용의 경우에 대부분 현장에서 취득된 데이터의 외부 유출이 금지된다. 따라서, 딥러닝 기반 학습을 위해 필요한 데이터를 구하는 게 절대적으로 어려운 것이 현실이다.
딥러닝, 현장 중심의 재학습 적용 가능한 시스템 필요
딥러닝 기반 학습·추론을 적용하는데 있어 어려움을 극복하기 위해서는 레이블이 달린 학습 데이터에 의존하는 지도학습방식(Supervised Learning) 외에 레이블이 없는 데이터, 즉 현장에서 취득된 신규 데이터를 학습 데이터로 즉시 활용할 수 있어야 한다.
초기 학습을 위한 소량의 레이블 데이터를 사용하고, 현장에서 설치 이후에는 레이블이 없는 데이터를 활용해 자동 재학습이 진행될 수 있는 딥러닝 기반 학습·추론 모델을 지원할 필요가 있으며, 이러한 모델의 학습 및 평가, 배포가 자동화된 절차에 의해서 이루어질 수 있도록 필요한 제반 기능이 필요하다. 또한, 데이터 유출이 엄격하게 금지된 고객·현장 요구사항을 고려할 경우 자동화된 절차에 따라 현장에서 추가 데이터를 확보해 재학습이 이뤄져야 한다.
딥러닝 기반의 비전 AI 솔루션을 적용해 작업자에 의해서 육안으로 판단하던 것들(예, 산업안전 관련 비정상 검출, 제품·설치 불량 검사, 동·식물 생육 관리 등)을 비전 검출기·인식기로 대체하기 위해서는 기존 딥러닝 적용의 어려움, 즉 추가 데이터 확보 및 재학습 비용이 과다하고 환경 변화에 따른 지속 가능한 성능 유지가 어렵기에 현장 중심의 딥러닝 재학습 적용이 가능한 AI 자동 학습 플랫폼이 필요하다.
스누아이랩은 현장에서 레이블이 없는 데이터(이미지·영상)을 즉시 활용해 자동 재학습이 가능한 능력을 갖춘 ‘AutoCare 플랫폼’을 기반으로 객체 검출 및 인식을 포함한 다양한 응용 솔루션을 제공하기 위해 노력하고 있다.
관련 AI 핵심 기술로 레이블링이 안된 현장 데이터를 즉시 학습에 활용하기 위한 준지도학습(Semi-Supervised Learning), 도메인(데이터 분포)의 차이를 재학습에 의존하지 않고 전이학습(Transfer Learning)을 통해 극복하고자 하는 도메인 적응(Domain Adaptation), 현장에서 데이터 수집·정제·학습·평가·배포를 자동화하기, MLOps(ML Automation) 응용 기술 등이 포함된다. 이러한 기술을 중심으로 목표 도메인에 따른 검출 이벤트, 환경에서 고려해야 할 사항, 그리고 시스템 규모(대·중·소)와 미탐·오탐에 대한 성능 등에 대한 고객 요구사항을 만족시킬 수 있도록 시스템을 구성해 고객 맞춤형 솔루션을 제공한다.
스누아이랩은 그 동안의 연구개발을 통해서 AutoCare 플랫폼의 현장 재학습 능력을 구현하는데 핵심이 되는 SOTA(State Of The Art)급 SSOD(Semi-Supervised Object Detection) 학습모델을 확보했다. 기본 SSOD 학습구조에서 새로운 개념의 MUM(Mixing & UnMixing) 데이터 증강기법을 제안해 세계적 수준의 성능을 보임으로써 CPVR 2022 국제 학술 컨퍼런스에 논문을 게재했고, MUM 기법 관련 특허를 출원했다.
시스템 구성과 기능
AutoCare 플랫폼을 기반으로 구성된 AutoCare 시스템은 다량의 레이블된 이미지를 필요로 하는 종래의 지도학습이 아닌 현장에서 취득된 레이블이 없는 이미지를 즉시 활용하는 준지도학습 및 현장에서 데이터 취득·정제·학습·배포·모니터링 등의 딥러닝 작업흐름 자동화(ML Automation)를 지원한다.
AutoCare 접근방식의 특징은 다음과 같다. ①초기 모델 학습에 소량의 분류된(Labeled) 데이터, 즉 검출 클래스 당 0.1K~2K 이미지(기존 지도학습의 경우 10K 이미지가 요구됨)를 활용함에 따라 기존 기술 대비 1/10 이하로 진행할 수 있기 때문에 레이블링 비용 및 시간을 줄일 수 있다. ②초기 학습한 모델을 탑재한 AutoCare 시스템을 현장에 설치해 현장에서 수집된 미분류된(Unlabeled) 이미지 데이터를 빠른 시간 안에 현장 적응형 재학습에 활용할 수 있다. 즉, 한번 현장에 설치된 이후 현장에서 문제해결이 가능하기 때문에 성능 개선을 위해 현장과 LAB을 오가며 반복적으로 레이블링 및 재학습을 반복하는 기존기술 대비 시간 및 비용을 절감할 수 있다는 장점이 있다.
AutoCare 플랫품은 기본적으로 딥러닝 기반 객체 검출·인식 모델을 서빙할 수 있는 DX 검출기를 제공하며, DX 검출기와 대응해 현장 재학습이 이루어 질 수 있도록 자기주도 재학습을 지원하는 TX 학습기, 그리고 영상 채널 생성·스트리밍·모니터링 및 분석결과 표시가 가능한 영상관리 기능을 제공하는 AutoCare MX 미디어 서버·클라이언트, 시스템적으로 이러한 구성요소들 간의 메시지와 이벤트를 전달하는 미들웨어 역할을 하는 AutoCare GX 게이트웨이, 전체 시스템 구성을 관리하기 위한 AutoCare AX 관리자로 구성된다.
AutoCare 플랫폼의 구조와 구성요소를 살펴보면 구조 관점에서 데이터 수집 및 자동 레이블링(유사 레이블잉 및 교정작업, Human-In-The-Loop), 데이터셋 관리 기능을 제공하는 데이터 계층이 기반이 되고, 서비스 계층에는 카메라 영상을 저장 및 스트리밍하는 MX 서버 클러스터, 영상분석(추론)을 위한 DX 클러스터, 현장학습을 위한 TX, 분석결과를 바탕으로 이벤트를 모니터링하는 응용 클러스터가 위치해 추론 및 학습 체인(Inference & Training Chain)을 실시간으로 동시 처리되도록 지원한다. 관리계층에서는 시스템 설정/운영에 필요한 UI/UX를 지원한다.
AutoCare TX 학습기는 재학습을 위한 학습 흐름(Training Flow)과 학습 데이터 확보를 위한 자동 레이블 흐름(Auto-Labeling Flow)를 구현한다. 두 가지 흐름을 연동해 필요한 데이터셋을 구축하고 재학습을 진행하는 전체 흐름을 액티브 흐름(Active Flow)으로 정의한다. 내부적으로 DX로부터 캡쳐된 현장 데이터(Unlabeled Images)를 학습 데이터로 구축하고, 재학습 모델에 따라서 선택적으로 준자동 레이블링 (Pseudo-Labeling)을 진행한다. 자기주도 학습이 가능하도록 지도 학습뿐만 아니라 준지도 학습을 적극적으로 활용하며, 모델의 성능을 보장하기 위한 최소의 레이블된 이미지를 액티브 학습기법에 따라서 선택적으로 확보할 수 있다. 평가 메트릭(mAP)에 따라서 재학습 모델의 평가 결과를 비교해 선택적으로 DX 검출기에 모델 재배포가 이루어진다.
스누아이랩은 AutoCare 플랫폼 기반 현장 재학습이 가능한 SSOD(Semi-Supervised Object Detection), SSHPE(Semi-Supervised Human Pose Estimation) 기본 모델을 확보했기에 다양한 응용 도메인의 데이터를 활용해 도메인(고객 사이트)별 데이터에 최적화된 현장 재학습 모델 제공이 가능하다. 딥러닝 모델 학습 지원 및 성능 요구사항에 따른 현장 학습 최적화, PoC 진행을 통한 시스템 운영 요구사항 커스터마이징 등을 포함하는 고객 요구사항에 연계된 AutoCare 플랫폼 기반의 솔루션 개발을 제공한다.
[엄호식 기자(eomhs@boannews.com)]
현장 중심의 딥러닝 재학습 적용 가능한 AI 자동 학습 플랫폼
[보안뉴스 엄호식 기자] 비전 AI는 이미지 및 영상에 표출된 객체를 이해하는 것이다. 해당 객체가 무엇이며 어디에 위치해 있는가를 인식하는 객체검출기능을 기본으로 검출된 객체 대상에 따라서 세부적인 포즈 및 액션을 인식하는 객체인식기능 및 다중 객체간의 관계를 통해서 특정 상황을 인식하는 기능을 포함한다.
[이미지=utoimage]
많은 경우에 비전 AI를 구현하기 위해서 딥러닝 기반의 학습·추론 기술을 활용한다. 딥러닝 네트워크를 학습시키기 위해서 많은 양의 학습 데이터가 필요한데, 검출 및 인식하고자 하는 객체를 담고 있는 이미지 즉, 레이블(객체가 무엇이며 어디에 위치해 있는지에 대한 정보)이 추가된 이미지를 확보해야 한다. 학습된 딥러닝 네트워크를 활용해 이미지에 있는 객체가 무엇인지 분류하고 위치를 예측할 수 있다.
이러한 추론은 전적으로 학습에 의존하기 때문에 학습 데이터가 실제 데이터에 얼마나 유사한지에 따라서 예측 정확도가 달라진다. 현재 딥러닝 방식으로 비전 AI 문제를 해결하려는 시도가 활발하게 진행되고 있는 상황이나, 산업계에서 활용 가능한 응용을 제공하는데 있어서 해결해야할 도전과제가 많이 있다.
딥러닝 적용에 있어 가장 어려운 것
딥러닝 적용에 있어 가장 어려운 것은 학습을 위해 많은 레이블 이미지 데이터가 필요하다는 것이다. 적용 도메인에 따라서 약간의 차이는 있지만 근본적으로 레이블링 비용이 매우 크며, 시간이 많이 걸리는 문제가 있다. 또한, 초기 학습 데이터는 실제 적용되는 현장에 취득할 수 있는 제한된 샘플이기에, 실제 데이터 전체를 대표하지 못하기 때문에 성능을 높이기 위해서는 추가 학습 데이터 취득 및 재학습이 반복적으로 진행돼야 한다.
더 나아가서 환경 변화에 따른 실제 데이터의 분포가 조금씩 달라질 수 있기에 변화하는 환경에 적응하기 위해서 추가적인 학습이 필요하다. 더욱이, 산업계에서 요구하는 비전 AI 응용의 경우에 대부분 현장에서 취득된 데이터의 외부 유출이 금지된다. 따라서, 딥러닝 기반 학습을 위해 필요한 데이터를 구하는 게 절대적으로 어려운 것이 현실이다.
딥러닝, 현장 중심의 재학습 적용 가능한 시스템 필요
딥러닝 기반 학습·추론을 적용하는데 있어 어려움을 극복하기 위해서는 레이블이 달린 학습 데이터에 의존하는 지도학습방식(Supervised Learning) 외에 레이블이 없는 데이터, 즉 현장에서 취득된 신규 데이터를 학습 데이터로 즉시 활용할 수 있어야 한다.
초기 학습을 위한 소량의 레이블 데이터를 사용하고, 현장에서 설치 이후에는 레이블이 없는 데이터를 활용해 자동 재학습이 진행될 수 있는 딥러닝 기반 학습·추론 모델을 지원할 필요가 있으며, 이러한 모델의 학습 및 평가, 배포가 자동화된 절차에 의해서 이루어질 수 있도록 필요한 제반 기능이 필요하다. 또한, 데이터 유출이 엄격하게 금지된 고객·현장 요구사항을 고려할 경우 자동화된 절차에 따라 현장에서 추가 데이터를 확보해 재학습이 이뤄져야 한다.
딥러닝 기반의 비전 AI 솔루션을 적용해 작업자에 의해서 육안으로 판단하던 것들(예, 산업안전 관련 비정상 검출, 제품·설치 불량 검사, 동·식물 생육 관리 등)을 비전 검출기·인식기로 대체하기 위해서는 기존 딥러닝 적용의 어려움, 즉 추가 데이터 확보 및 재학습 비용이 과다하고 환경 변화에 따른 지속 가능한 성능 유지가 어렵기에 현장 중심의 딥러닝 재학습 적용이 가능한 AI 자동 학습 플랫폼이 필요하다.
스누아이랩은 현장에서 레이블이 없는 데이터(이미지·영상)을 즉시 활용해 자동 재학습이 가능한 능력을 갖춘 ‘AutoCare 플랫폼’을 기반으로 객체 검출 및 인식을 포함한 다양한 응용 솔루션을 제공하기 위해 노력하고 있다.
관련 AI 핵심 기술로 레이블링이 안된 현장 데이터를 즉시 학습에 활용하기 위한 준지도학습(Semi-Supervised Learning), 도메인(데이터 분포)의 차이를 재학습에 의존하지 않고 전이학습(Transfer Learning)을 통해 극복하고자 하는 도메인 적응(Domain Adaptation), 현장에서 데이터 수집·정제·학습·평가·배포를 자동화하기, MLOps(ML Automation) 응용 기술 등이 포함된다. 이러한 기술을 중심으로 목표 도메인에 따른 검출 이벤트, 환경에서 고려해야 할 사항, 그리고 시스템 규모(대·중·소)와 미탐·오탐에 대한 성능 등에 대한 고객 요구사항을 만족시킬 수 있도록 시스템을 구성해 고객 맞춤형 솔루션을 제공한다.
스누아이랩은 그 동안의 연구개발을 통해서 AutoCare 플랫폼의 현장 재학습 능력을 구현하는데 핵심이 되는 SOTA(State Of The Art)급 SSOD(Semi-Supervised Object Detection) 학습모델을 확보했다. 기본 SSOD 학습구조에서 새로운 개념의 MUM(Mixing & UnMixing) 데이터 증강기법을 제안해 세계적 수준의 성능을 보임으로써 CPVR 2022 국제 학술 컨퍼런스에 논문을 게재했고, MUM 기법 관련 특허를 출원했다.
▲MUM 구조 및 성능 비교표[자료=스누아이랩]
시스템 구성과 기능
AutoCare 플랫폼을 기반으로 구성된 AutoCare 시스템은 다량의 레이블된 이미지를 필요로 하는 종래의 지도학습이 아닌 현장에서 취득된 레이블이 없는 이미지를 즉시 활용하는 준지도학습 및 현장에서 데이터 취득·정제·학습·배포·모니터링 등의 딥러닝 작업흐름 자동화(ML Automation)를 지원한다.
AutoCare 접근방식의 특징은 다음과 같다. ①초기 모델 학습에 소량의 분류된(Labeled) 데이터, 즉 검출 클래스 당 0.1K~2K 이미지(기존 지도학습의 경우 10K 이미지가 요구됨)를 활용함에 따라 기존 기술 대비 1/10 이하로 진행할 수 있기 때문에 레이블링 비용 및 시간을 줄일 수 있다. ②초기 학습한 모델을 탑재한 AutoCare 시스템을 현장에 설치해 현장에서 수집된 미분류된(Unlabeled) 이미지 데이터를 빠른 시간 안에 현장 적응형 재학습에 활용할 수 있다. 즉, 한번 현장에 설치된 이후 현장에서 문제해결이 가능하기 때문에 성능 개선을 위해 현장과 LAB을 오가며 반복적으로 레이블링 및 재학습을 반복하는 기존기술 대비 시간 및 비용을 절감할 수 있다는 장점이 있다.
AutoCare 플랫품은 기본적으로 딥러닝 기반 객체 검출·인식 모델을 서빙할 수 있는 DX 검출기를 제공하며, DX 검출기와 대응해 현장 재학습이 이루어 질 수 있도록 자기주도 재학습을 지원하는 TX 학습기, 그리고 영상 채널 생성·스트리밍·모니터링 및 분석결과 표시가 가능한 영상관리 기능을 제공하는 AutoCare MX 미디어 서버·클라이언트, 시스템적으로 이러한 구성요소들 간의 메시지와 이벤트를 전달하는 미들웨어 역할을 하는 AutoCare GX 게이트웨이, 전체 시스템 구성을 관리하기 위한 AutoCare AX 관리자로 구성된다.
▲AutoCare 플랫폼 구조 및 구성요소[자료=스누아이랩]
AutoCare 플랫폼의 구조와 구성요소를 살펴보면 구조 관점에서 데이터 수집 및 자동 레이블링(유사 레이블잉 및 교정작업, Human-In-The-Loop), 데이터셋 관리 기능을 제공하는 데이터 계층이 기반이 되고, 서비스 계층에는 카메라 영상을 저장 및 스트리밍하는 MX 서버 클러스터, 영상분석(추론)을 위한 DX 클러스터, 현장학습을 위한 TX, 분석결과를 바탕으로 이벤트를 모니터링하는 응용 클러스터가 위치해 추론 및 학습 체인(Inference & Training Chain)을 실시간으로 동시 처리되도록 지원한다. 관리계층에서는 시스템 설정/운영에 필요한 UI/UX를 지원한다.
▲AutoCare TX 액티브 흐름 및 학습 기법[자료=스누아이랩]
AutoCare TX 학습기는 재학습을 위한 학습 흐름(Training Flow)과 학습 데이터 확보를 위한 자동 레이블 흐름(Auto-Labeling Flow)를 구현한다. 두 가지 흐름을 연동해 필요한 데이터셋을 구축하고 재학습을 진행하는 전체 흐름을 액티브 흐름(Active Flow)으로 정의한다. 내부적으로 DX로부터 캡쳐된 현장 데이터(Unlabeled Images)를 학습 데이터로 구축하고, 재학습 모델에 따라서 선택적으로 준자동 레이블링 (Pseudo-Labeling)을 진행한다. 자기주도 학습이 가능하도록 지도 학습뿐만 아니라 준지도 학습을 적극적으로 활용하며, 모델의 성능을 보장하기 위한 최소의 레이블된 이미지를 액티브 학습기법에 따라서 선택적으로 확보할 수 있다. 평가 메트릭(mAP)에 따라서 재학습 모델의 평가 결과를 비교해 선택적으로 DX 검출기에 모델 재배포가 이루어진다.
▲AutoCare 플랫폼 기반 맞춤형 AI 응용 솔루션 구축[자료=스누아이랩]
스누아이랩은 AutoCare 플랫폼 기반 현장 재학습이 가능한 SSOD(Semi-Supervised Object Detection), SSHPE(Semi-Supervised Human Pose Estimation) 기본 모델을 확보했기에 다양한 응용 도메인의 데이터를 활용해 도메인(고객 사이트)별 데이터에 최적화된 현장 재학습 모델 제공이 가능하다. 딥러닝 모델 학습 지원 및 성능 요구사항에 따른 현장 학습 최적화, PoC 진행을 통한 시스템 운영 요구사항 커스터마이징 등을 포함하는 고객 요구사항에 연계된 AutoCare 플랫폼 기반의 솔루션 개발을 제공한다.
[엄호식 기자(eomhs@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
엄호식기자 기사보기
[2024-11-14] .jpg)
.jpg)
