공주대 최대선 교수, ‘AI를 속이는 공격자 AI’ 개발
[보안뉴스 박미영 기자] 공주대 최대선 교수는 얼굴에 몇 개의 점을 붙여 얼굴인식 AI가 다른 사람으로 인식하게 만드는데 성공했다고 밝혔다.
연구팀이 개발한 공격자 AI에 얼굴 사진을 입력하면 얼굴에 붙일 점 스티커를 만들어 주고, 점을 붙일 위치를 알려준다. 공격자 AI가 알려준대로 얼굴에 점 스티커를 붙이면, 얼굴인식 AI는 전혀 다른 사람으로 인식하게 된다.
보안 분야에서는 이미지나 보이스에 약간의 변형을 가해 딥러닝 AI를 속일 수 있는 기만 공격이 가능하다고 알려져 왔으며, 기만 공격을 통해 자율주행 자동차가 좌회전 표지판을 우회전으로 인식하게 되는 등 심각한 문제를 야기할 수 있어 AI의 보안 취약점으로 지적되고 있다.
이러한 변형 데이터를 적대적 예제(adversarial example)라고 부르며, AI를 기만하는데 사용한다. 공격자 AI가 어떻게 변형해야 하는지를 자동으로 찾아주므로 이러한 적대적 예제를 쉽게 생성할 수 있으며, 이를 방어하는 것도 어렵다고 알려져 있다.
사람 목소리에 약간의 잡음을 추가해 음성인식 AI를 속이는 기만 공격 사례도 알려져 있다. 방송에서 앵커가 말한 “A상품을 주문해라”는 음성을 명령으로 인식해 실제 상품을 주문한 아마존 AI 스피커의 사례가 있는데, 적대적 예제를 적용할 경우 “안녕하십니까”라는 말을 듣고도 상품을 주문할 수 있다.
이번 공주대 연구는 이미지 상태가 아닌 실제 얼굴에 약간의 분장을 통해 얼굴인식 AI를 기만할 수 있다는 것을 보여준 세계 최초 연구로, AI 적용 분야가 확대돼 가는 가운데 AI 보안 취약점이 큰 문제를 야기할 수 있는 사례다.
해외에서는 표지판에 스티커를 붙여 오인식하게 만드는 연구가 소개된 바 있으나, 얼굴 분장을 통한 얼굴인식 AI를 기만하는 사례는 이번 공주대 연구가 최초다.
연구팀을 이끈 최대선 교수는 “이러한 기만 공격 이외에도 AI의 오동작을 유발하거나 학습에 사용된 데이터를 추출해 프라이버시를 침해하는 등 여러 가지 AI 보안 취약점이 알려져 있다”며, “최근 AI에 대한 국가적 관심과 산업계의 적용이 활발한 가운데 AI 보안 문제에 대해서도 심각성을 인식하고 대비해야 한다”고 말했다.
[박미영 기자(mypark@boannews.com)]
[보안뉴스 박미영 기자] 공주대 최대선 교수는 얼굴에 몇 개의 점을 붙여 얼굴인식 AI가 다른 사람으로 인식하게 만드는데 성공했다고 밝혔다.
[사진=공주대]
연구팀이 개발한 공격자 AI에 얼굴 사진을 입력하면 얼굴에 붙일 점 스티커를 만들어 주고, 점을 붙일 위치를 알려준다. 공격자 AI가 알려준대로 얼굴에 점 스티커를 붙이면, 얼굴인식 AI는 전혀 다른 사람으로 인식하게 된다.
보안 분야에서는 이미지나 보이스에 약간의 변형을 가해 딥러닝 AI를 속일 수 있는 기만 공격이 가능하다고 알려져 왔으며, 기만 공격을 통해 자율주행 자동차가 좌회전 표지판을 우회전으로 인식하게 되는 등 심각한 문제를 야기할 수 있어 AI의 보안 취약점으로 지적되고 있다.
이러한 변형 데이터를 적대적 예제(adversarial example)라고 부르며, AI를 기만하는데 사용한다. 공격자 AI가 어떻게 변형해야 하는지를 자동으로 찾아주므로 이러한 적대적 예제를 쉽게 생성할 수 있으며, 이를 방어하는 것도 어렵다고 알려져 있다.
사람 목소리에 약간의 잡음을 추가해 음성인식 AI를 속이는 기만 공격 사례도 알려져 있다. 방송에서 앵커가 말한 “A상품을 주문해라”는 음성을 명령으로 인식해 실제 상품을 주문한 아마존 AI 스피커의 사례가 있는데, 적대적 예제를 적용할 경우 “안녕하십니까”라는 말을 듣고도 상품을 주문할 수 있다.
이번 공주대 연구는 이미지 상태가 아닌 실제 얼굴에 약간의 분장을 통해 얼굴인식 AI를 기만할 수 있다는 것을 보여준 세계 최초 연구로, AI 적용 분야가 확대돼 가는 가운데 AI 보안 취약점이 큰 문제를 야기할 수 있는 사례다.
해외에서는 표지판에 스티커를 붙여 오인식하게 만드는 연구가 소개된 바 있으나, 얼굴 분장을 통한 얼굴인식 AI를 기만하는 사례는 이번 공주대 연구가 최초다.
연구팀을 이끈 최대선 교수는 “이러한 기만 공격 이외에도 AI의 오동작을 유발하거나 학습에 사용된 데이터를 추출해 프라이버시를 침해하는 등 여러 가지 AI 보안 취약점이 알려져 있다”며, “최근 AI에 대한 국가적 관심과 산업계의 적용이 활발한 가운데 AI 보안 문제에 대해서도 심각성을 인식하고 대비해야 한다”고 말했다.
[박미영 기자(mypark@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박미영기자 기사보기
[2024-04-18] 
.jpg)
.jpg)
