.jpg)
글로벌 위험보고서 2024, 올해 직면할 위험요인으로 ‘AI가 생성하는 가짜뉴스’ 꼽아
가짜뉴스 제작에 유용한 도구 AI, 다양한 형태의 허위정보 제작 가능
“AI 활용 콘텐츠, 무조건 금지보다는 실사와 구분...처벌 규정 뒷받침돼야”
[보안뉴스 박은주 기자] 2024년 4월 22대 국회의원 선거가 77일 앞으로 다가왔다. 올해는 우리나라 총선을 비롯해 3월 러시아·우크라이나 대선, 11월 미국 대선 등 세계 곳곳에서 굵직한 선거가 예정돼 있다. 국가의 앞날을 결정짓는 중요한 선택을 앞두고 각국은 ‘잘못된 정보’를 차단하는 데 심혈을 기울이고 있다.
2024년 세계경제포럼(다보스포럼·WEF)에서 발간한 ‘글로벌 위험보고서 2024’에는 올해 세계가 직면할 위험 요인 중 하나로 ‘인공지능(AI)이 생성하는 가짜뉴스’를 선정했다. 다양한 형태의 허위정보로 인해 정치·사회적 혼란을 빚어질 수 있다는 점을 경고한 셈이다.
1월 13일 대만에서 제16대 총통 선거가 열렸고, 반중 성향의 민진당 ‘라이칭더(頼清徳)’ 후보가 당선됐다. 선거 이후 중국 동영상 플랫폼 틱톡과 더우인(Douyin)에서 대만 총통 선거의 개표 조작 영상이 돌았다. 이에 대만 중앙선관위가 나서 해명했지만, 여전히 민진당이 부정 선거를 치렀다고 믿는 사람이 다수다. 특히 틱톡과 더우인 사용량의 35.7%를 차지하는 18~29세 젊은 연령층이 대다수로, 앞으로 정치에 참여하는 세대에 잘못된 정보가 사실처럼 퍼져 우려가 커지고 있다.
또한 미국 대선을 앞두고 뉴햄프셔 예비경선 전날 민주당 당원에게 투표 거부를 독려하는 가짜 바이든 대통령 전화가 떠돌았다. 외신에 따르면 해당 전화는 ‘말도 안 되는 소리’라는 바이든 대통령의 말투를 사용해 혼란을 일으켰다.
가짜 뉴스 제작의 유용한 도구 ‘AI’
미국의 사이버 보안기업 맨디언트(Mandiant)에서 2023년 8월 발표한 보안 동향 분석 보고서에 따르면 사이버 위협자들은 AI를 악용해 이미지·비디오·오디오·텍스트의 형태의 허위정보를 제작하고 있다.
대표적인 사례로 볼로디미르 젤렌스키 우크라이나 대통령의 가짜 항복을 들 수 있다. 2023년 3월 러시아의 우크라이나 침공 후, 딥페크 동영상 등 다양한 형태로 우크라이나가 항복했다는 가짜 메시지가 퍼졌다.
이 밖에도 사람보다 더 사람처럼 텍스트를 작성하는 대형언어모델(LLM)을 활용한 위협에 대한 우려도 커지고 있다. 피싱이나 스미싱 등 사이버 공격에 필요한 텍스트 작성에 큰 영향을 미칠 것이라는 분석이다.
선거기간, AI와 거리두기
AI를 사용해 제작되는 잘못된 정보가 선거의 정당성을 헤칠 수 있고, 궁극적으로 민주주의를 위협할 수 있다는 우려가 제기된다. 게다가 SNS를 통해 퍼지는 허위 정보량이 막대하며, 추적과 통제가 어렵다는 지적이다.
AI를 악용한 잘못된 정보 유출을 우려해 우리나라 중앙선거관리위원회에서는 1월 29일부터는 딥페이크(Deep Fake)를 활용해 선거운동을 할 수 없다고 밝혔다. 후보자의 얼굴을 합성한 영상이 선거운동에 활용되는 경우 유권자의 정확한 판단을 방해할 수 있다는 판단에 따른 것이다.
미국에서 챗GPT 개발사 오픈AI가 미 대선을 앞두고 민주당 경선 후보 딘 필립스(Dean Phillips, 미네소타) 연방하원의원을 모방한 AI 챗봇 ‘딘닷봇(Dean.Bot)’ 개발을 금지했다. 대선 과정에서 AI 기술이 오용되는 것을 막으려는 조치로 보인다. 한편 미국 상무부는 2023년 10월 AI로 만든 콘텐츠에 워터마크를 표시하는 지침을 개발해, AI 콘텐츠와 실사 구분에 나선다고 전했다.
이와 관련 숭실대학교 정보통신전자공학부 정수환 교수는 “예를 들어 AI로 제작한 콘텐츠를 활용해 선거 캠페인이나 홍보에 활용할 수 있지만, 딥페이크 기술을 기반으로 악의적인 목적으로 악용할 수 있다”며 AI로 만든 콘텐츠의 양면성을 설명했다.
이어 정 교수는 “AI를 활용한 콘텐츠 사용을 무조건 금지하기보다는, 워터마킹 등의 방법으로 실사와 구분하고, 이를 위반했을 때 처벌하는 규정이 뒷받침돼야 할 것”이라며 기술의 발전과 법 제도 마련이 병행돼야 한다는 의견을 제시했다.
[박은주 기자(boan5@boannews.com)]
가짜뉴스 제작에 유용한 도구 AI, 다양한 형태의 허위정보 제작 가능
“AI 활용 콘텐츠, 무조건 금지보다는 실사와 구분...처벌 규정 뒷받침돼야”
[보안뉴스 박은주 기자] 2024년 4월 22대 국회의원 선거가 77일 앞으로 다가왔다. 올해는 우리나라 총선을 비롯해 3월 러시아·우크라이나 대선, 11월 미국 대선 등 세계 곳곳에서 굵직한 선거가 예정돼 있다. 국가의 앞날을 결정짓는 중요한 선택을 앞두고 각국은 ‘잘못된 정보’를 차단하는 데 심혈을 기울이고 있다.
[이미지=gettyimagesbank]
2024년 세계경제포럼(다보스포럼·WEF)에서 발간한 ‘글로벌 위험보고서 2024’에는 올해 세계가 직면할 위험 요인 중 하나로 ‘인공지능(AI)이 생성하는 가짜뉴스’를 선정했다. 다양한 형태의 허위정보로 인해 정치·사회적 혼란을 빚어질 수 있다는 점을 경고한 셈이다.
1월 13일 대만에서 제16대 총통 선거가 열렸고, 반중 성향의 민진당 ‘라이칭더(頼清徳)’ 후보가 당선됐다. 선거 이후 중국 동영상 플랫폼 틱톡과 더우인(Douyin)에서 대만 총통 선거의 개표 조작 영상이 돌았다. 이에 대만 중앙선관위가 나서 해명했지만, 여전히 민진당이 부정 선거를 치렀다고 믿는 사람이 다수다. 특히 틱톡과 더우인 사용량의 35.7%를 차지하는 18~29세 젊은 연령층이 대다수로, 앞으로 정치에 참여하는 세대에 잘못된 정보가 사실처럼 퍼져 우려가 커지고 있다.
또한 미국 대선을 앞두고 뉴햄프셔 예비경선 전날 민주당 당원에게 투표 거부를 독려하는 가짜 바이든 대통령 전화가 떠돌았다. 외신에 따르면 해당 전화는 ‘말도 안 되는 소리’라는 바이든 대통령의 말투를 사용해 혼란을 일으켰다.
가짜 뉴스 제작의 유용한 도구 ‘AI’
▲젤렌스키 우크라이나 대통령이 2022년 3월 러시아에 항복한다고 발표하는 딥페이크 동영상 캡쳐[이미지=맨디언트 블로그]
대표적인 사례로 볼로디미르 젤렌스키 우크라이나 대통령의 가짜 항복을 들 수 있다. 2023년 3월 러시아의 우크라이나 침공 후, 딥페크 동영상 등 다양한 형태로 우크라이나가 항복했다는 가짜 메시지가 퍼졌다.
이 밖에도 사람보다 더 사람처럼 텍스트를 작성하는 대형언어모델(LLM)을 활용한 위협에 대한 우려도 커지고 있다. 피싱이나 스미싱 등 사이버 공격에 필요한 텍스트 작성에 큰 영향을 미칠 것이라는 분석이다.
선거기간, AI와 거리두기
▲(왼쪽부터)딥페이크 기술로 구현한 AI 윤석열, AI 이재명[이미지=윤석열 유튜브 캡쳐, 이재명 유튜브 캡쳐]
AI를 악용한 잘못된 정보 유출을 우려해 우리나라 중앙선거관리위원회에서는 1월 29일부터는 딥페이크(Deep Fake)를 활용해 선거운동을 할 수 없다고 밝혔다. 후보자의 얼굴을 합성한 영상이 선거운동에 활용되는 경우 유권자의 정확한 판단을 방해할 수 있다는 판단에 따른 것이다.
미국에서 챗GPT 개발사 오픈AI가 미 대선을 앞두고 민주당 경선 후보 딘 필립스(Dean Phillips, 미네소타) 연방하원의원을 모방한 AI 챗봇 ‘딘닷봇(Dean.Bot)’ 개발을 금지했다. 대선 과정에서 AI 기술이 오용되는 것을 막으려는 조치로 보인다. 한편 미국 상무부는 2023년 10월 AI로 만든 콘텐츠에 워터마크를 표시하는 지침을 개발해, AI 콘텐츠와 실사 구분에 나선다고 전했다.
이와 관련 숭실대학교 정보통신전자공학부 정수환 교수는 “예를 들어 AI로 제작한 콘텐츠를 활용해 선거 캠페인이나 홍보에 활용할 수 있지만, 딥페이크 기술을 기반으로 악의적인 목적으로 악용할 수 있다”며 AI로 만든 콘텐츠의 양면성을 설명했다.
이어 정 교수는 “AI를 활용한 콘텐츠 사용을 무조건 금지하기보다는, 워터마킹 등의 방법으로 실사와 구분하고, 이를 위반했을 때 처벌하는 규정이 뒷받침돼야 할 것”이라며 기술의 발전과 법 제도 마련이 병행돼야 한다는 의견을 제시했다.
[박은주 기자(boan5@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박은주기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
