이글루코퍼레이션, 딥페이크 기술의 부작용 및 글로벌 주요국 대응방안 소개
딥페이크 피해 방지...AI 생성물 표기 및 탐지기술 개발, 디지털 리터러시 교육 이어져야
불법 딥페이크 사용은 범죄라는 인식, 제작자에 강력한 처벌 및 피해자 보상제도 마련 필요
[보안뉴스 김영명 기자] 최근 일반인 여성을 대상으로 제작된 불법 딥페이크(Deepfake) 합성물이 텔레그램(Telegram)을 통해 무차별적으로 유포되면서 미성년자 등 수많은 피해자가 나왔다. 딥페이크 기술은 정치권에서도 선거에 큰 영향을 미칠 수 있어 정부도 적극적으로 대응 중이다. 이글루코퍼레이션은 최근 딥페이크 기술로 인해 발생하고 있는 부작용과 글로벌 주요국들의 대응방안을 소개했다.
딥페이크, AI 기술 활용 가능성 만큼 악용 우려 높아져
‘딥페이크(Deepfake)’는 딥러닝(Deep Learning)과 가짜(Fake)의 합성어다. 딥페이크 관련 기술은 2014년 미국 이안 굿펠로우 과학자가 발표한 논문 ‘Generative Adversarial Networks(생성적 적대 신경망, 이하 GAN)’에서 처음 등장했다. 이안은 GAN을 가짜 화폐를 만들어 경찰을 속이는 위조지폐범에, 가짜 화폐를 판별해 위조지폐범을 검거하는 경찰 사이의 게임에 비유했다. GAN에서도 실제에 가까운 거짓 데이터를 만들 수 있게 된다는 것이다.
딥페이크는 AI 기술의 무한한 가능성을 보여줬지만, 악용되면 그만큼이나 위험한 기술이다. 가장 심각한 문제는 합성 포르노와 정치적 활용 등이다. 미국 사이버 보안 기업 시큐리티 히어로(Security Hero)는 지난해 온라인에서 확인된 9만 5,820개의 딥페이크 영상 중 약 98%가 딥페이크 포르노라고 밝혔다. 대선을 앞둔 미국에서는 딥페이크가 대선에 영향을 미칠 것을 우려해 다수의 주(state)에서 규제를 추진 중이다.
성범죄에 악용되는 딥페이크 기술
딥페이크 기술이 성범죄에 악용되는 행위는 올해 1월의 팝스타 테일러 스위프트의 합성된 사진이 엑스(X)를 중심으로 퍼지면서 파장을 일으켰다. X는 이미지를 삭제하고 ‘테일러 스위프트’의 검색을 차단했으나, 이미 4,700만회나 조회됐다. 이는 MS의 AI 이미지 생성기 ‘디자이너(Designer)’로 생성됐다는 주장도 나왔다. MS 사티아 나델라 CEO는 이를 규탄하고, MS는 디자이너의 필터링을 강화했다. 미국 보안기업 시큐리티 히어로는 기술 발전으로 얼굴 사진 한 장만으로 1분 길이 딥페이크 포르노 영상 제작까지 25분도 걸리지 않는다고 지적했다.
우리나라도 딥페이크 성범죄 문제가 심각하다. 시큐리티 히어로의 ‘2023 딥페이크 현황 보고서’에 따르면 딥페이크 성착취물에 가장 취약한 국가 1위가 한국이었다. 경찰청은 지난해 검거된 허위영상물 피의자는 120명, 그 가운데 10대가 무려 91명이나 포함됐다고 밝혔다.
전문가들은 청소년들의 딥페이크 범죄가 증가하는 배경으로 첫 번째, 청소년들 사이에서 딥페이크가 범죄라는 인식은 존재하지만, 처벌이 약하고 붙잡힐 염려가 없다는 인식이 확산돼 왔다는 점, 두 번째는 딥페이크 생성물을 손쉽게 만들 수 있는 도구의 확산이 꼽힌다.
최근 사진을 넣으면 자동으로 음란물을 합성해주는 ‘딥페이크 봇’도 논란이다. 확인된 딥페이크 봇의 이용 방법으로는 ①약관에 동의하고 ②사진 합성에 사용되는 포인트인 1크레딧(딥페이크 봇 화폐 단위, 1달러에 사진 2매 합성 가능) ③봇과의 채팅방이 열리면 원하는 사진을 올리고 ④가격을 참고해 수영복 등 하나를 고르면 ⑤약 1분 뒤 합성된 사진을 받을 수 있다. 이 단체방에는 미성년자의 사용을 금한다는 약관은 있지만 딥페이크 봇을 통해 가상의 미성년자 사진을 형성해 등록했을 때 이를 걸러내는 안전장치는 없었다.
정치 수단에 악용되는 딥페이크, 각 국가는 어떻게 대응하나
대선을 앞둔 미국에서는 연방통신위원회(FCC)가 올해 5월에 조 바이든 대통령의 목소리로 딥보이스를 만들어 대선관련 허위 정보를 내세우며 투표 거부를 독려한 스티브 크레이머 정치 컨설턴트에게 600만 달러(한화 약 83억원)의 벌금을 부과했다. FCC는 크레이머의 메시지를 주민에게 전송한 혐의를 받는 링고 텔레콤에게도 벌금 200만 달러(한화 약 27억원)를 내렸다. 미국 정부는 딥페이크 기술이 정치에 악용되는 것을 방지하려 다양한 정책을 펼치지만, 선거 관련자들은 피해를 우려하고 있다.
먼저 유럽연합(EU)은 올해 5월 EU 이사회에서 세계 최초로 AI를 포괄적으로 규제하는 AI 법안(AI Act)을 승인했다. AI Act는 AI를 잠재적 위험에 따라 △수용 불가능한 위험 △고위험 △제한적 위험 △최소한의 위험 등으로 구분, 딥페이크는 제한적 위험에 해당한다고 봤다.
AI Act는 AI 시스템 공급자와 사용자에게 ‘투명성 의무’를 부과하고 있다. 먼저 ‘표시 및 감지 의무’에 따라 AI 시스템 공급자는 결과물이 기계가 판독 가능하도록 표시하고, 인위적으로 생성·조작된 것으로 감지해야 한다. ‘공개 의무’에 따라 딥페이크 이미지·오디오 또는 비디오 콘텐츠를 생성·조작하는 AI 시스템 사용자는 결과물이 인위적이라는 사실을 밝혀야 한다. 이 의무를 준수하지 않으면 최대 1,500만 유로(한화 약 224억원) 또는 직전 회계연도 전 세계 연간 매출액의 3% 중 더 높은 금액이 벌금으로 부과될 수 있다.
미국 조 바이든 행정부는 지난해 10월에 ‘안전한 AI 개발 및 이용에 관한 행정명령’을 발표, 올해 2월을 기준으로 미국 40개 이상의 주에서 407건의 AI 관련 법안이 발의됐다. 최근 캘리포니아 주에서 처리된 딥페이크 규제 법은 AI로 미성년자를 성 착취하는 내용의 딥페이크 제작을 금지하는 내용이 담겼다. 캘리포니아 주 의회는 딥페이크 규제 강화법도 처리하고, SNS 기업에 선거 120일 전부터 딥페이크를 사용한 선거 콘텐츠를 규제하도록 의무를 부과했다.
한국, 국회 문턱 넘지 못하고 있는 ‘AI 기본법’
우리나라는 딥페이크 관련 범죄행위는 ‘정보통신망 이용촉진 및 정보보호 등에 관한 법률’ 또는 ‘형법’을 적용하고 있다. 또 음란물과 관련된 딥페이크 피해는 ‘성폭력범죄의 처벌 등에 관한 특례법’으로 대응 중이다. 다만 딥페이크 영상을 제작 사실이 적발되더라도 ‘유포의 목적’이 입증되지 않고, 불법 합성물을 단순 소지·저장·시청하는 행위는 처벌이 불가능하다.
우리 국회는 약칭 ‘AI 기본법’ 등 6건의 AI 관련 법안을 발의했다. 또 국가안보실은 딥페이크 등 기술을 활용한 허위정보 대응 방안이 담긴 ‘국가 사이버안보 기본계획’ 추진을 발표했다. 정부 관계자는 “딥페이크 대응은 공세적 사이버 방어활동 강화 항목에 포함됐다”고 설명했다. ‘공세적 사이버 방어활동 강화’의 목표는 ‘허위정보’의 대응 기반 마련이 될 것으로 예상된다.
이글루코퍼레이션 보안팀은 “딥페이크 피해의 근본적인 방지 대책은 AI 생성물 표기와 함께 딥페이크 탐지 기술 개발, 이용자의 디지털 리터러시 교육이 병행되어야 한다”며 “이용자가 딥페이크 콘텐츠를 구별하는 능력과 불법 딥페이크 사용은 범죄라는 인식을 갖도록 하고 법적으로 제작자와 유포자에 강력한 처벌과 피해자 보상 제도도 마련되어야 한다”고 밝혔다.
[김영명 기자(boan@boannews.com)]
딥페이크 피해 방지...AI 생성물 표기 및 탐지기술 개발, 디지털 리터러시 교육 이어져야
불법 딥페이크 사용은 범죄라는 인식, 제작자에 강력한 처벌 및 피해자 보상제도 마련 필요
[보안뉴스 김영명 기자] 최근 일반인 여성을 대상으로 제작된 불법 딥페이크(Deepfake) 합성물이 텔레그램(Telegram)을 통해 무차별적으로 유포되면서 미성년자 등 수많은 피해자가 나왔다. 딥페이크 기술은 정치권에서도 선거에 큰 영향을 미칠 수 있어 정부도 적극적으로 대응 중이다. 이글루코퍼레이션은 최근 딥페이크 기술로 인해 발생하고 있는 부작용과 글로벌 주요국들의 대응방안을 소개했다.
[이미지=gettyimagesbank]
딥페이크, AI 기술 활용 가능성 만큼 악용 우려 높아져
‘딥페이크(Deepfake)’는 딥러닝(Deep Learning)과 가짜(Fake)의 합성어다. 딥페이크 관련 기술은 2014년 미국 이안 굿펠로우 과학자가 발표한 논문 ‘Generative Adversarial Networks(생성적 적대 신경망, 이하 GAN)’에서 처음 등장했다. 이안은 GAN을 가짜 화폐를 만들어 경찰을 속이는 위조지폐범에, 가짜 화폐를 판별해 위조지폐범을 검거하는 경찰 사이의 게임에 비유했다. GAN에서도 실제에 가까운 거짓 데이터를 만들 수 있게 된다는 것이다.
딥페이크는 AI 기술의 무한한 가능성을 보여줬지만, 악용되면 그만큼이나 위험한 기술이다. 가장 심각한 문제는 합성 포르노와 정치적 활용 등이다. 미국 사이버 보안 기업 시큐리티 히어로(Security Hero)는 지난해 온라인에서 확인된 9만 5,820개의 딥페이크 영상 중 약 98%가 딥페이크 포르노라고 밝혔다. 대선을 앞둔 미국에서는 딥페이크가 대선에 영향을 미칠 것을 우려해 다수의 주(state)에서 규제를 추진 중이다.
성범죄에 악용되는 딥페이크 기술
딥페이크 기술이 성범죄에 악용되는 행위는 올해 1월의 팝스타 테일러 스위프트의 합성된 사진이 엑스(X)를 중심으로 퍼지면서 파장을 일으켰다. X는 이미지를 삭제하고 ‘테일러 스위프트’의 검색을 차단했으나, 이미 4,700만회나 조회됐다. 이는 MS의 AI 이미지 생성기 ‘디자이너(Designer)’로 생성됐다는 주장도 나왔다. MS 사티아 나델라 CEO는 이를 규탄하고, MS는 디자이너의 필터링을 강화했다. 미국 보안기업 시큐리티 히어로는 기술 발전으로 얼굴 사진 한 장만으로 1분 길이 딥페이크 포르노 영상 제작까지 25분도 걸리지 않는다고 지적했다.
우리나라도 딥페이크 성범죄 문제가 심각하다. 시큐리티 히어로의 ‘2023 딥페이크 현황 보고서’에 따르면 딥페이크 성착취물에 가장 취약한 국가 1위가 한국이었다. 경찰청은 지난해 검거된 허위영상물 피의자는 120명, 그 가운데 10대가 무려 91명이나 포함됐다고 밝혔다.
전문가들은 청소년들의 딥페이크 범죄가 증가하는 배경으로 첫 번째, 청소년들 사이에서 딥페이크가 범죄라는 인식은 존재하지만, 처벌이 약하고 붙잡힐 염려가 없다는 인식이 확산돼 왔다는 점, 두 번째는 딥페이크 생성물을 손쉽게 만들 수 있는 도구의 확산이 꼽힌다.
▲AI 잠재적 위험에 따른 분류[자료=정보통신정책연구원]
최근 사진을 넣으면 자동으로 음란물을 합성해주는 ‘딥페이크 봇’도 논란이다. 확인된 딥페이크 봇의 이용 방법으로는 ①약관에 동의하고 ②사진 합성에 사용되는 포인트인 1크레딧(딥페이크 봇 화폐 단위, 1달러에 사진 2매 합성 가능) ③봇과의 채팅방이 열리면 원하는 사진을 올리고 ④가격을 참고해 수영복 등 하나를 고르면 ⑤약 1분 뒤 합성된 사진을 받을 수 있다. 이 단체방에는 미성년자의 사용을 금한다는 약관은 있지만 딥페이크 봇을 통해 가상의 미성년자 사진을 형성해 등록했을 때 이를 걸러내는 안전장치는 없었다.
정치 수단에 악용되는 딥페이크, 각 국가는 어떻게 대응하나
대선을 앞둔 미국에서는 연방통신위원회(FCC)가 올해 5월에 조 바이든 대통령의 목소리로 딥보이스를 만들어 대선관련 허위 정보를 내세우며 투표 거부를 독려한 스티브 크레이머 정치 컨설턴트에게 600만 달러(한화 약 83억원)의 벌금을 부과했다. FCC는 크레이머의 메시지를 주민에게 전송한 혐의를 받는 링고 텔레콤에게도 벌금 200만 달러(한화 약 27억원)를 내렸다. 미국 정부는 딥페이크 기술이 정치에 악용되는 것을 방지하려 다양한 정책을 펼치지만, 선거 관련자들은 피해를 우려하고 있다.
먼저 유럽연합(EU)은 올해 5월 EU 이사회에서 세계 최초로 AI를 포괄적으로 규제하는 AI 법안(AI Act)을 승인했다. AI Act는 AI를 잠재적 위험에 따라 △수용 불가능한 위험 △고위험 △제한적 위험 △최소한의 위험 등으로 구분, 딥페이크는 제한적 위험에 해당한다고 봤다.
AI Act는 AI 시스템 공급자와 사용자에게 ‘투명성 의무’를 부과하고 있다. 먼저 ‘표시 및 감지 의무’에 따라 AI 시스템 공급자는 결과물이 기계가 판독 가능하도록 표시하고, 인위적으로 생성·조작된 것으로 감지해야 한다. ‘공개 의무’에 따라 딥페이크 이미지·오디오 또는 비디오 콘텐츠를 생성·조작하는 AI 시스템 사용자는 결과물이 인위적이라는 사실을 밝혀야 한다. 이 의무를 준수하지 않으면 최대 1,500만 유로(한화 약 224억원) 또는 직전 회계연도 전 세계 연간 매출액의 3% 중 더 높은 금액이 벌금으로 부과될 수 있다.
미국 조 바이든 행정부는 지난해 10월에 ‘안전한 AI 개발 및 이용에 관한 행정명령’을 발표, 올해 2월을 기준으로 미국 40개 이상의 주에서 407건의 AI 관련 법안이 발의됐다. 최근 캘리포니아 주에서 처리된 딥페이크 규제 법은 AI로 미성년자를 성 착취하는 내용의 딥페이크 제작을 금지하는 내용이 담겼다. 캘리포니아 주 의회는 딥페이크 규제 강화법도 처리하고, SNS 기업에 선거 120일 전부터 딥페이크를 사용한 선거 콘텐츠를 규제하도록 의무를 부과했다.
▲성폭력범죄의 처벌 등에 관한 특례법[자료=국가법령정보센터, 이글루코퍼레이션]
한국, 국회 문턱 넘지 못하고 있는 ‘AI 기본법’
우리나라는 딥페이크 관련 범죄행위는 ‘정보통신망 이용촉진 및 정보보호 등에 관한 법률’ 또는 ‘형법’을 적용하고 있다. 또 음란물과 관련된 딥페이크 피해는 ‘성폭력범죄의 처벌 등에 관한 특례법’으로 대응 중이다. 다만 딥페이크 영상을 제작 사실이 적발되더라도 ‘유포의 목적’이 입증되지 않고, 불법 합성물을 단순 소지·저장·시청하는 행위는 처벌이 불가능하다.
우리 국회는 약칭 ‘AI 기본법’ 등 6건의 AI 관련 법안을 발의했다. 또 국가안보실은 딥페이크 등 기술을 활용한 허위정보 대응 방안이 담긴 ‘국가 사이버안보 기본계획’ 추진을 발표했다. 정부 관계자는 “딥페이크 대응은 공세적 사이버 방어활동 강화 항목에 포함됐다”고 설명했다. ‘공세적 사이버 방어활동 강화’의 목표는 ‘허위정보’의 대응 기반 마련이 될 것으로 예상된다.
이글루코퍼레이션 보안팀은 “딥페이크 피해의 근본적인 방지 대책은 AI 생성물 표기와 함께 딥페이크 탐지 기술 개발, 이용자의 디지털 리터러시 교육이 병행되어야 한다”며 “이용자가 딥페이크 콘텐츠를 구별하는 능력과 불법 딥페이크 사용은 범죄라는 인식을 갖도록 하고 법적으로 제작자와 유포자에 강력한 처벌과 피해자 보상 제도도 마련되어야 한다”고 밝혔다.
[김영명 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김영명기자 기사보기
[2024-12-25] 
