.jpg)
지난 십여 년 동안 소셜 미디어들이 마련한 ‘쉬운 정보 확산’의 기반
인공지능 알고리즘 오픈소스로 풀리자 비전공자도 쉽게 가짜 매체 만들 수 있어
[보안뉴스 문가용 기자] 딥러닝과 오픈소스 기술을 구하고 사용하는 게 갈수록 쉬워지고 있어 사이버 범죄자들의 가짜 이미지, 영상, 음성, 텍스트 제작 능력아 강화되고 있다는 지적이 올해 블랙햇 행사를 통해 나왔다. 이른 바 ‘합성 매체(synthetic media)’를 통한 공격이 무시무시한 속도로 다가오고 있다는 경고가 다분히 담겨 있었다.
보안 업체 파이어아이(FireEye)에 소속된 전문가들은 미국 현지 시각으로 수요일부터 시작된 블랙햇 USA 2020 본 행사를 통해 “누구나 무료로 사용할 수 있는 오픈소스 도구들만 가지고도 ‘합성 매체’를 그럴 듯하게 만들 수 있다”고 주장하며, 이를 시연했다. 여기서 언급되는 오픈소스 도구들이란, 자연어 처리, 컴퓨터 비전, 음성 인식을 실행해주는 인공지능 알고리즘을 말한다. 심지어 훈련도 미리 된 것들이다.
또한 전문가들이 말하는 ‘합성 매체’란 음성, 동영상, 이미지, 소리 등을 다양하게 조합해 진짜 같이 만들어진 가짜 매체를 말한다. 딥페이크(deep fake) 기술로 누군가 하지도 않은 말과 행동을 제작하는 것이 대표적인 사례다. 유명 배우가 성인 영상에 출현한 것처럼, 영향력 높은 정치인이 인터뷰를 통해 공식적으로 발표한 것처럼 일을 꾸밀 수 있다. 이는 가짜뉴스 및 여론 조작 공격에 매우 유용할 수 있다.
“기술적으로 뛰어나지 않은 사람들도 대단히 정교한 ‘가짜 매체’를 만들 수 있습니다. 그리고 이를 소셜 미디어 등을 통해 퍼트릴 수 있죠. 엄청나게 진짜 같은 헛소문을 누구나 만들 수 있다는 겁니다.” 파이어아이의 데이터 과학자인 필립 털리(Philip Tully)의 설명이다. 그러면서 “지금은 새로운 ‘합성 매체 공격의 시대’로 들어가는 초입”이며 “폭풍전야와 같은 때를 지나고 있다”고 경고했다.
이런 시대의 도래를 견인하고 있는 한 축은 소셜 미디어다. 털리는 “소셜 미디어 회사들이 정보 공유 행위에 있어 까다로운 정책을 정해놓고 있지 않아 누구나 아무 말이나 퍼트릴 수 있는 환경이 완성됐다”며 “지난 십여 년 동안 소셜 미디어가 다져놓은 온라인 문화가 손쉬운 인공지능 도구들과 만나 합성 매체 공격의 전성기를 꽃피우기 직전”이라고 말했다.
다른 한 축은 그가 말한 ‘접근이 쉬운 인공지능 도구들’이다. “인공지능을 바탕으로 한 기술을 활용하는 게 삽시간에 빠르고 저렴해졌습니다. 누구나 고급 도구를 공짜로 구할 수 있게 됐어요. 심지어 사용성도 꽤나 점점 더 좋아지고 있죠. 지식을 공유하고 배울 기회를 보다 넓게 보편화시킨다는 점에서 오픈소스에 참여하는 사람들이 많은데, 그 좋은 마음을 공격자들이 악용하고 있는 겁니다. 또한 전이학습(transfer learning)이라는 개념이 발전하면서 인공지능이 이전보다 훈련시키기도 좋고 접근하기도 좋은 기술이 됐고요.”
파이어아이는 실제 미국 정치인들가 기자들이 말하거나 전파한 것으로 보이는 가짜 메시지들이 소셜 미디어에서 돌아다니는 것을 이번 연구를 통해 발견할 수 있었다고 한다. “이미 사이버 공격자들은 영향력 높은 인물들의 얼굴과 이미지를 빌려 페이스북, 인스타그램, 트위터 등에서 이란에 친화적인 메시지 등을 계속해서 전파하고 있습니다. 홍콩 시위를 비판하는 듯한 가짜 메시지들도 영향력 높은 인물들이 발설한 것처럼 돌아다니죠. ‘합성 매체’ 공격은 이미 실재합니다.”
연구원들은 현재 오픈소스로 공개된 도구들이 얼마나 뛰어난지 직접 시연하기도 했다. 다음과 같은 오픈소스 도구들이 활용됐다.
1) StyleGAN : 가짜 이미지를 만드는 데 활용됨
2) SV2TTS : 가짜 음성을 진짜와 똑같이 만드는 데 활용됨
3) Tacotron2 : 텍스트를 음성으로 바꿔주는 플랫폼
4) WaveRNN : 스펙트로그램으로부터 오디오 파형을 추측할 수 있음
이미 이런 류의 프로그램들을 사용해 가짜 음성을 제작한 사이버 공격자들은 지난 해 한 회사로부터 23만 달러를 훔쳐내기도 했었다.
이런 식의 공격은 어떻게 방어해야 할까? 내 얼굴과 음성이, 엉뚱한 자들에 의해 악의적으로 편집돼 활용될 때 어떻게 대처해야 할까? 파이어아이 측은 이미 딥페이크 공격에 대비한 방어 기술이 하나 둘 등장하고 있다고 말했다. “인공지능을 기반으로 ‘합성 여부’를 판단할 수 있는 기술이 개발되고 있습니다. 눈이나 이빨의 정렬, 귀의 대칭 상태, 눈의 깜빡임 분석 등을 다각도로 분석하는 건데요, 이 기술이 발전하면서 딥페이크와 싸울 수 있지 않을까 예상하고 있습니다.”
그러면서 파이어아이는 “소셜 미디어 서비스 업체들이 딥페이크 콘텐츠를 걸러주는 장치나 제도를 마련하는 것에 더 큰 관심을 가져야 한다”고 말했다. 실제 페이스북과 마이크로소프트 등은 여러 대학 기관들과 협업하여 딥페이크 대응 기술을 마련하고 있기도 하다. 구글 등은 딥페이크 기술로 만들어진 콘텐츠 수만 건이 포함된 데이터셋을 발표해 이 방면의 연구를 활성화시키는 데 일조하기도 했다.
“하지만 가짜 영상을 만들어 퍼트리는 쪽이 그걸 탐지해 막는 쪽보다 훨씬 유리한 위치에 있습니다. 대응 기술의 발전이, 딥페이크 공격이 보편화되는 것보다 빠르지 못할 가능성이 훨씬 높습니다. 보안과 IT 업계에 종사하는 사람들은 인공지능 개발자들과 관련 정책 입안자들 등에 끊임없이 의견을 제시하고 정보를 제공함으로써 제대로 된 대책이 최대한 빠르게 나오도록 도와야 합니다. 이미 공격은 ‘실제’이고, 방어책은 ‘개발 중’에 있으니까 말이죠.”
3줄 요약
1. 딥페이크를 통한 여론 조작과 가짜뉴스 퍼트리기의 시대가 코앞에 있음.
2. 소셜 미디어 통해서는 정보 퍼트리기가 좋고, 인공지능 도구들은 무료로 풀리고 있고.
3. 지금은 폭풍전야의 때. 곧 딥페이크 난무하는 시대 될 것.
[국제부 문가용 기자(globoan@boannews.com)]
인공지능 알고리즘 오픈소스로 풀리자 비전공자도 쉽게 가짜 매체 만들 수 있어
[보안뉴스 문가용 기자] 딥러닝과 오픈소스 기술을 구하고 사용하는 게 갈수록 쉬워지고 있어 사이버 범죄자들의 가짜 이미지, 영상, 음성, 텍스트 제작 능력아 강화되고 있다는 지적이 올해 블랙햇 행사를 통해 나왔다. 이른 바 ‘합성 매체(synthetic media)’를 통한 공격이 무시무시한 속도로 다가오고 있다는 경고가 다분히 담겨 있었다.
[이미지 = utoimage]
보안 업체 파이어아이(FireEye)에 소속된 전문가들은 미국 현지 시각으로 수요일부터 시작된 블랙햇 USA 2020 본 행사를 통해 “누구나 무료로 사용할 수 있는 오픈소스 도구들만 가지고도 ‘합성 매체’를 그럴 듯하게 만들 수 있다”고 주장하며, 이를 시연했다. 여기서 언급되는 오픈소스 도구들이란, 자연어 처리, 컴퓨터 비전, 음성 인식을 실행해주는 인공지능 알고리즘을 말한다. 심지어 훈련도 미리 된 것들이다.
또한 전문가들이 말하는 ‘합성 매체’란 음성, 동영상, 이미지, 소리 등을 다양하게 조합해 진짜 같이 만들어진 가짜 매체를 말한다. 딥페이크(deep fake) 기술로 누군가 하지도 않은 말과 행동을 제작하는 것이 대표적인 사례다. 유명 배우가 성인 영상에 출현한 것처럼, 영향력 높은 정치인이 인터뷰를 통해 공식적으로 발표한 것처럼 일을 꾸밀 수 있다. 이는 가짜뉴스 및 여론 조작 공격에 매우 유용할 수 있다.
“기술적으로 뛰어나지 않은 사람들도 대단히 정교한 ‘가짜 매체’를 만들 수 있습니다. 그리고 이를 소셜 미디어 등을 통해 퍼트릴 수 있죠. 엄청나게 진짜 같은 헛소문을 누구나 만들 수 있다는 겁니다.” 파이어아이의 데이터 과학자인 필립 털리(Philip Tully)의 설명이다. 그러면서 “지금은 새로운 ‘합성 매체 공격의 시대’로 들어가는 초입”이며 “폭풍전야와 같은 때를 지나고 있다”고 경고했다.
이런 시대의 도래를 견인하고 있는 한 축은 소셜 미디어다. 털리는 “소셜 미디어 회사들이 정보 공유 행위에 있어 까다로운 정책을 정해놓고 있지 않아 누구나 아무 말이나 퍼트릴 수 있는 환경이 완성됐다”며 “지난 십여 년 동안 소셜 미디어가 다져놓은 온라인 문화가 손쉬운 인공지능 도구들과 만나 합성 매체 공격의 전성기를 꽃피우기 직전”이라고 말했다.
다른 한 축은 그가 말한 ‘접근이 쉬운 인공지능 도구들’이다. “인공지능을 바탕으로 한 기술을 활용하는 게 삽시간에 빠르고 저렴해졌습니다. 누구나 고급 도구를 공짜로 구할 수 있게 됐어요. 심지어 사용성도 꽤나 점점 더 좋아지고 있죠. 지식을 공유하고 배울 기회를 보다 넓게 보편화시킨다는 점에서 오픈소스에 참여하는 사람들이 많은데, 그 좋은 마음을 공격자들이 악용하고 있는 겁니다. 또한 전이학습(transfer learning)이라는 개념이 발전하면서 인공지능이 이전보다 훈련시키기도 좋고 접근하기도 좋은 기술이 됐고요.”
파이어아이는 실제 미국 정치인들가 기자들이 말하거나 전파한 것으로 보이는 가짜 메시지들이 소셜 미디어에서 돌아다니는 것을 이번 연구를 통해 발견할 수 있었다고 한다. “이미 사이버 공격자들은 영향력 높은 인물들의 얼굴과 이미지를 빌려 페이스북, 인스타그램, 트위터 등에서 이란에 친화적인 메시지 등을 계속해서 전파하고 있습니다. 홍콩 시위를 비판하는 듯한 가짜 메시지들도 영향력 높은 인물들이 발설한 것처럼 돌아다니죠. ‘합성 매체’ 공격은 이미 실재합니다.”
연구원들은 현재 오픈소스로 공개된 도구들이 얼마나 뛰어난지 직접 시연하기도 했다. 다음과 같은 오픈소스 도구들이 활용됐다.
1) StyleGAN : 가짜 이미지를 만드는 데 활용됨
2) SV2TTS : 가짜 음성을 진짜와 똑같이 만드는 데 활용됨
3) Tacotron2 : 텍스트를 음성으로 바꿔주는 플랫폼
4) WaveRNN : 스펙트로그램으로부터 오디오 파형을 추측할 수 있음
이미 이런 류의 프로그램들을 사용해 가짜 음성을 제작한 사이버 공격자들은 지난 해 한 회사로부터 23만 달러를 훔쳐내기도 했었다.
이런 식의 공격은 어떻게 방어해야 할까? 내 얼굴과 음성이, 엉뚱한 자들에 의해 악의적으로 편집돼 활용될 때 어떻게 대처해야 할까? 파이어아이 측은 이미 딥페이크 공격에 대비한 방어 기술이 하나 둘 등장하고 있다고 말했다. “인공지능을 기반으로 ‘합성 여부’를 판단할 수 있는 기술이 개발되고 있습니다. 눈이나 이빨의 정렬, 귀의 대칭 상태, 눈의 깜빡임 분석 등을 다각도로 분석하는 건데요, 이 기술이 발전하면서 딥페이크와 싸울 수 있지 않을까 예상하고 있습니다.”
그러면서 파이어아이는 “소셜 미디어 서비스 업체들이 딥페이크 콘텐츠를 걸러주는 장치나 제도를 마련하는 것에 더 큰 관심을 가져야 한다”고 말했다. 실제 페이스북과 마이크로소프트 등은 여러 대학 기관들과 협업하여 딥페이크 대응 기술을 마련하고 있기도 하다. 구글 등은 딥페이크 기술로 만들어진 콘텐츠 수만 건이 포함된 데이터셋을 발표해 이 방면의 연구를 활성화시키는 데 일조하기도 했다.
“하지만 가짜 영상을 만들어 퍼트리는 쪽이 그걸 탐지해 막는 쪽보다 훨씬 유리한 위치에 있습니다. 대응 기술의 발전이, 딥페이크 공격이 보편화되는 것보다 빠르지 못할 가능성이 훨씬 높습니다. 보안과 IT 업계에 종사하는 사람들은 인공지능 개발자들과 관련 정책 입안자들 등에 끊임없이 의견을 제시하고 정보를 제공함으로써 제대로 된 대책이 최대한 빠르게 나오도록 도와야 합니다. 이미 공격은 ‘실제’이고, 방어책은 ‘개발 중’에 있으니까 말이죠.”
3줄 요약
1. 딥페이크를 통한 여론 조작과 가짜뉴스 퍼트리기의 시대가 코앞에 있음.
2. 소셜 미디어 통해서는 정보 퍼트리기가 좋고, 인공지능 도구들은 무료로 풀리고 있고.
3. 지금은 폭풍전야의 때. 곧 딥페이크 난무하는 시대 될 것.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-11-22] 
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
