작은 정보로 물체를 구별할 수 있는 트랜스포머 기반 퓨샷(few-shot) 인공지능 모델 개발
[보안뉴스 박미영 기자] DGIST 로봇및기계전자공학과 박상현 교수(인공지능전공 겸직) 연구팀은 여러 이미지로부터 상관관계를 학습하는 트랜스포머를 활용해 소수의 정답지를 가진 데이터로 기존 데이터셋에 존재하지 않는 새로운 물체를 정확히 분류하는 퓨샷(few-shot) 분류모델을 개발했다. 학습데이터에 없었던 물체를 인식하기 위해 대규모 데이터셋 구축을 필요로 했던 기존 딥러닝 모델 학습의 효율성 향상에 획기적인 기여가 기대된다.
일반적으로 높은 성능의 딥러닝 분류모델을 훈련하기 위해서는 대규모 데이터셋을 구축해야 한다. 각 항목마다 수백에서 수천장의 영상을 모으고 영상 간의 연결성의 유무를 구분하는 레이블링 작업을 진행해야 하기 때문에 오랜 시간과 많은 비용이 발생한다. 이러한 문제를 해결하기 위해 소수의 데이터만으로도 새로운 물체를 분류하는 퓨샷(few-shot) 모델이 활발하게 연구되고 있다. 현재 소수의 레이블링이 있는 서포트(support) 데이터들 간의 상관관계를 분석하는 트랜스포머나 픽셀 단위의 영상 비교 기법들이 제안됐으나 성능 향상이 제한적이다.
이에 박상현 교수팀은 소수의 레이블링이 있는 서포트 데이터(Support)가 주어졌을 때 분류해야 하는 영상(Query)에서 추출된 특징들을 효과적으로 비교할 수 있는 기법을 새롭게 제안했다. 박상현 교수 연구팀은 데이터 사이 상관관계를 보여주는 ‘Attention Map’을 활용해 특정 패턴을 갖는 유사한 데이터를 모아 평균화시킨 특징 벡터를 변환하는 트랜스포머(Transformer)를 활용한 모델을 개발했다.
기존 기법들과 달리 양방향(Support에서 Query로, Query에서 Support로)으로 특징을 변환해 효과적으로 특징 벡터를 비교할 수 있는 방법을 고안했다. 이를 통해 영상에서 추출한 특징 벡터들이 서로 비교하기 적합한 새로운 벡터 공간으로 변환돼 분류 성능이 크게 개선됐다.
새롭게 개발한 딥러닝 모델은 퓨샷 분류 문제에 있어 1~5개의 데이터만으로 최대 84~94%의 정확도를 보였으며, 기존에 제안됐던 다른 퓨샷 학습 기법들의 성능을 크게 웃돌았다.
박상현 교수는 “이번 연구를 통해 개발한 모델은 퓨샷 분류 성능을 크게 개선시켰으며 이를 통해 딥러닝 모델 학습의 효율성 향상에 기여할 수 있을 것으로 기대된다”며, “향후 관련 기술을 좀 더 개선한다면 다양한 분류 문제에 범용적으로 활용될 수 있을 것”이라고 말했다.
한편, 이번 연구 결과는 그 우수성을 인정받아 인공지능 관련 분야 최우수 국제학술지 ‘IEEE Conference on Computer Vision and Pattern Recognition’에 6월 게재됐다.
[박미영 기자(mypark@boannews.com)]
[보안뉴스 박미영 기자] DGIST 로봇및기계전자공학과 박상현 교수(인공지능전공 겸직) 연구팀은 여러 이미지로부터 상관관계를 학습하는 트랜스포머를 활용해 소수의 정답지를 가진 데이터로 기존 데이터셋에 존재하지 않는 새로운 물체를 정확히 분류하는 퓨샷(few-shot) 분류모델을 개발했다. 학습데이터에 없었던 물체를 인식하기 위해 대규모 데이터셋 구축을 필요로 했던 기존 딥러닝 모델 학습의 효율성 향상에 획기적인 기여가 기대된다.
[사진=DGIST]
일반적으로 높은 성능의 딥러닝 분류모델을 훈련하기 위해서는 대규모 데이터셋을 구축해야 한다. 각 항목마다 수백에서 수천장의 영상을 모으고 영상 간의 연결성의 유무를 구분하는 레이블링 작업을 진행해야 하기 때문에 오랜 시간과 많은 비용이 발생한다. 이러한 문제를 해결하기 위해 소수의 데이터만으로도 새로운 물체를 분류하는 퓨샷(few-shot) 모델이 활발하게 연구되고 있다. 현재 소수의 레이블링이 있는 서포트(support) 데이터들 간의 상관관계를 분석하는 트랜스포머나 픽셀 단위의 영상 비교 기법들이 제안됐으나 성능 향상이 제한적이다.
이에 박상현 교수팀은 소수의 레이블링이 있는 서포트 데이터(Support)가 주어졌을 때 분류해야 하는 영상(Query)에서 추출된 특징들을 효과적으로 비교할 수 있는 기법을 새롭게 제안했다. 박상현 교수 연구팀은 데이터 사이 상관관계를 보여주는 ‘Attention Map’을 활용해 특정 패턴을 갖는 유사한 데이터를 모아 평균화시킨 특징 벡터를 변환하는 트랜스포머(Transformer)를 활용한 모델을 개발했다.
기존 기법들과 달리 양방향(Support에서 Query로, Query에서 Support로)으로 특징을 변환해 효과적으로 특징 벡터를 비교할 수 있는 방법을 고안했다. 이를 통해 영상에서 추출한 특징 벡터들이 서로 비교하기 적합한 새로운 벡터 공간으로 변환돼 분류 성능이 크게 개선됐다.
새롭게 개발한 딥러닝 모델은 퓨샷 분류 문제에 있어 1~5개의 데이터만으로 최대 84~94%의 정확도를 보였으며, 기존에 제안됐던 다른 퓨샷 학습 기법들의 성능을 크게 웃돌았다.
박상현 교수는 “이번 연구를 통해 개발한 모델은 퓨샷 분류 성능을 크게 개선시켰으며 이를 통해 딥러닝 모델 학습의 효율성 향상에 기여할 수 있을 것으로 기대된다”며, “향후 관련 기술을 좀 더 개선한다면 다양한 분류 문제에 범용적으로 활용될 수 있을 것”이라고 말했다.
한편, 이번 연구 결과는 그 우수성을 인정받아 인공지능 관련 분야 최우수 국제학술지 ‘IEEE Conference on Computer Vision and Pattern Recognition’에 6월 게재됐다.
[박미영 기자(mypark@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박미영기자 기사보기
[2024-10-31] .jpg)
