인공지능, 아직 해결할 문제 많은데 기대감만 가파르게 상승하고 있어
데이터 무결성과 편향성 해결되지 않는 한 인공지능 신뢰하기 어려워
[보안뉴스 문가용 기자] 인공지능이 보안의 여러 문제를 해결할 수 있으리라는 희망이 솟구치는 가운데, 보안 전문가들이 “아직 더 가다듬어야 한다”고 경고했다. 인공지능을 기반으로 한 각종 자동화 기술 덕분에 일부 보안 기능을 효율적으로 수행할 수 있을 것으로 보이지만, 그러한 예상은 ‘인공지능이 좀 더 완성되었을 때’의 이야기라는 것이다.
인공지능이 현재 가지고 있는 문제들은 무엇일까? “인공지능이 학습하는 데이터도 큰 문제의 일부입니다. 인간이 생성한 데이터들이기 때문에 편향성을 내포하고 있기 때문이죠. 또공지능 기술이 악성 행위자들 사이에서도 널리 활용된다는 것도 해결해야 할 문제입니다.” 보안 업체 티타니아(Titania)의 니콜라 화이팅(Nicola Whiting)의 설명이다.
“특히 사람의 생명이 달린 문제에 있어서는 인공지능은 아직 충분히 신뢰할 만한 기술이 아닙니다. 즉 국가들 간의 사이버전은 물리적이고 사회적인 피해를 일으키려는 시도로서 이뤄지는 경우가 많은데요, 이건 생명과 직결된 문제이기 때문에 인공지능에 맡길 수 없습니다. 인공지능 자체가 가지고 있는 문제를 해결하기 전까지는 말입니다.”
인공지능 실패의 역사
인공지능에 거는 기대가 너무 거세다보니 미디어에서 잘 다뤄지지 않고 있는데, 사실 인공지능은 그 동안 많은 실패를 기록해왔다. 이 실패는 거의 전부 ‘데이터의 편향성’ 혹은 ‘데이터의 무결성 손상’으로 인한 것이다.
가장 유명한 사례 중 하나는 ‘테이(Tay)’ 사건이다. 테이는 마이크로소프트가 개발한 인공지능 트위터 챗봇으로, ‘대화를 통한 이해’를 할 능력이 있다고 알려져 있었다. 트위터 사용자들과 더 많은 대화를 할수록 더 똑똑해지는 게 MS의 예상이었다. 하지만 트위터에서 나오는 데이터가 온전할 거라는 MS의 예상은 크게 빗나갔다. 테이는 인종차별과 혐오 발언을 능수능란하게 쏟아내는 인공지능이 되었다.
아마존도 4년 동안 밀어붙였던 인공지능 채용 절차를 결국 폐지시켰다. 인공지능 알고리즘이 인간에 대한 과거 데이터를 수집하면서 편향성을 누적시켜왔고, 그러면서 차별적인 기준으로 사람을 뽑고 있었다는 게 알려지면서였다. 예를 들어 아마존의 채용 담당 인공지능은 소프트웨어 개발자를 뽑을 때 여성들을 심각하게 차별했던 것으로 알려져 있다. 여자 학교 출신 개발자들의 이력서에 낮은 점수를 부여했다고 한다.
인공지능 기술이 개발되면서 ‘사이버 범죄자들이 더 웃게 된다’는 모순도 해결해야 할 문제다. 현재 사이버 공격자들은 인공지능을 통해 피싱 공격을 자동으로 처리할 뿐만 아니라, 음성 인증 인공지능 앱을 사용하거나, 이전에는 상상도 할 수 없었던 대량의 패킷 스니핑을 실시한다.
국가들도 사이버전을 벌일 때는 물론 실제 전쟁이 일어날 때를 대비하거나 물리적인 공격을 수행하기 위해 인공지능을 바탕으로 한 무기들을 개발하고 사용하기 시작했다. 이런 문제들 때문에 2018년 인공지능과 로보틱스 전문가 3000명이 인공지능 기반 무기 개발을 금지하자는 유럽연합 의회 결의안을 지지한다고 발표하기도 한 것이다.
어떤 해결책이 있을까?
어도비의 보안 책임자인 톰 시그나렐라(Tom Cignarella)는 “인공지능이 가지고 있는 잠재력 자체는 사실이며, 그로 인해 방어력이 높아질 것도 사실”이라고 말한다. “하지만 여기에는 전제 조건이 붙습니다. 올바른 사람들을 올바로 훈련해, 올바른 데이터로 인공지능을 다루게 해야 한다는 것입니다. 즉 인공지능 개발 과정을 지켜볼 ‘건강한 비판적 시각’이 필요하다는 겁니다.”
그러면서 시그나렐라는 “모든 신기술이 다 마찬가지고 인공지능도 그 중 하나일 뿐”이라고 강조한다. “광범위하게 도입해 사용하기 전에 날카롭게 비판하고 꼼꼼하게 수정해야 한다는 것입니다. 함부로 ‘신뢰’를 내주어서는 안 됩니다. 새롭다고, 신기하다고, 방어력을 높여줄 것이라고 곧바로 믿어서는 안 된다는 것입니다.”
화이팅은 “인공지능이 데이터를 먹고 성장하는데, 그 데이터를 사람이 만들었고, 사람의 데이터는 편향성을 내포하고 있을 수밖에 없다는 걸 인정하는 것도 중요하다”고 말한다. “인간은 무의식적으로 편향된 모습을 보일 수밖에 없는 존재입니다. 그러니 인공지능을 훈련시키는 데이터를 보다 광범위하고 다양하게 늘려야 합니다. 더 많은 시각과 더 많은 생각들을 인공지능에 주입시켜야 하죠.”
그러면서 화이팅은 “인공지능이 결정을 내리는 과정을 평가할 수 있는 방법을 개발해야 할 필요가 있다”고 주장했다. “인공지능 내부를 블랙박스라고 부르면서, 어떤 식으로 인공지능이 결론에 도달했는지 아무도 알 수가 없다고 하는데, 사실 그러면 안 되는 거 아닐까요? 인공지능에 목숨을 맡길 수 있을 정도로 신뢰하려면, 그 내부 사정도 다 알아야죠. 이 블랙박스 난제도 시급히 해결해야 합니다.”
3줄 요약
1. 인공지능에 대한 기대감 치솟고 있지만, 성장은 사실 더딤.
2. 인공지능이 소화하는 데이터가 가진 편향성 문제, 인공지능이 공격에 먼저 활용되는 문제가 특히 여러 오류 낳고 있음.
3. 인공지능을 더 신뢰할 수 있으려면 인공지능의 결정 과정도 환히 꿰뚫고 있어야 함.
[국제부 문가용 기자(globoan@boannews.com)]
데이터 무결성과 편향성 해결되지 않는 한 인공지능 신뢰하기 어려워
[보안뉴스 문가용 기자] 인공지능이 보안의 여러 문제를 해결할 수 있으리라는 희망이 솟구치는 가운데, 보안 전문가들이 “아직 더 가다듬어야 한다”고 경고했다. 인공지능을 기반으로 한 각종 자동화 기술 덕분에 일부 보안 기능을 효율적으로 수행할 수 있을 것으로 보이지만, 그러한 예상은 ‘인공지능이 좀 더 완성되었을 때’의 이야기라는 것이다.
[이미지 = iclickart]
인공지능이 현재 가지고 있는 문제들은 무엇일까? “인공지능이 학습하는 데이터도 큰 문제의 일부입니다. 인간이 생성한 데이터들이기 때문에 편향성을 내포하고 있기 때문이죠. 또공지능 기술이 악성 행위자들 사이에서도 널리 활용된다는 것도 해결해야 할 문제입니다.” 보안 업체 티타니아(Titania)의 니콜라 화이팅(Nicola Whiting)의 설명이다.
“특히 사람의 생명이 달린 문제에 있어서는 인공지능은 아직 충분히 신뢰할 만한 기술이 아닙니다. 즉 국가들 간의 사이버전은 물리적이고 사회적인 피해를 일으키려는 시도로서 이뤄지는 경우가 많은데요, 이건 생명과 직결된 문제이기 때문에 인공지능에 맡길 수 없습니다. 인공지능 자체가 가지고 있는 문제를 해결하기 전까지는 말입니다.”
인공지능 실패의 역사
인공지능에 거는 기대가 너무 거세다보니 미디어에서 잘 다뤄지지 않고 있는데, 사실 인공지능은 그 동안 많은 실패를 기록해왔다. 이 실패는 거의 전부 ‘데이터의 편향성’ 혹은 ‘데이터의 무결성 손상’으로 인한 것이다.
가장 유명한 사례 중 하나는 ‘테이(Tay)’ 사건이다. 테이는 마이크로소프트가 개발한 인공지능 트위터 챗봇으로, ‘대화를 통한 이해’를 할 능력이 있다고 알려져 있었다. 트위터 사용자들과 더 많은 대화를 할수록 더 똑똑해지는 게 MS의 예상이었다. 하지만 트위터에서 나오는 데이터가 온전할 거라는 MS의 예상은 크게 빗나갔다. 테이는 인종차별과 혐오 발언을 능수능란하게 쏟아내는 인공지능이 되었다.
아마존도 4년 동안 밀어붙였던 인공지능 채용 절차를 결국 폐지시켰다. 인공지능 알고리즘이 인간에 대한 과거 데이터를 수집하면서 편향성을 누적시켜왔고, 그러면서 차별적인 기준으로 사람을 뽑고 있었다는 게 알려지면서였다. 예를 들어 아마존의 채용 담당 인공지능은 소프트웨어 개발자를 뽑을 때 여성들을 심각하게 차별했던 것으로 알려져 있다. 여자 학교 출신 개발자들의 이력서에 낮은 점수를 부여했다고 한다.
인공지능 기술이 개발되면서 ‘사이버 범죄자들이 더 웃게 된다’는 모순도 해결해야 할 문제다. 현재 사이버 공격자들은 인공지능을 통해 피싱 공격을 자동으로 처리할 뿐만 아니라, 음성 인증 인공지능 앱을 사용하거나, 이전에는 상상도 할 수 없었던 대량의 패킷 스니핑을 실시한다.
국가들도 사이버전을 벌일 때는 물론 실제 전쟁이 일어날 때를 대비하거나 물리적인 공격을 수행하기 위해 인공지능을 바탕으로 한 무기들을 개발하고 사용하기 시작했다. 이런 문제들 때문에 2018년 인공지능과 로보틱스 전문가 3000명이 인공지능 기반 무기 개발을 금지하자는 유럽연합 의회 결의안을 지지한다고 발표하기도 한 것이다.
어떤 해결책이 있을까?
어도비의 보안 책임자인 톰 시그나렐라(Tom Cignarella)는 “인공지능이 가지고 있는 잠재력 자체는 사실이며, 그로 인해 방어력이 높아질 것도 사실”이라고 말한다. “하지만 여기에는 전제 조건이 붙습니다. 올바른 사람들을 올바로 훈련해, 올바른 데이터로 인공지능을 다루게 해야 한다는 것입니다. 즉 인공지능 개발 과정을 지켜볼 ‘건강한 비판적 시각’이 필요하다는 겁니다.”
그러면서 시그나렐라는 “모든 신기술이 다 마찬가지고 인공지능도 그 중 하나일 뿐”이라고 강조한다. “광범위하게 도입해 사용하기 전에 날카롭게 비판하고 꼼꼼하게 수정해야 한다는 것입니다. 함부로 ‘신뢰’를 내주어서는 안 됩니다. 새롭다고, 신기하다고, 방어력을 높여줄 것이라고 곧바로 믿어서는 안 된다는 것입니다.”
화이팅은 “인공지능이 데이터를 먹고 성장하는데, 그 데이터를 사람이 만들었고, 사람의 데이터는 편향성을 내포하고 있을 수밖에 없다는 걸 인정하는 것도 중요하다”고 말한다. “인간은 무의식적으로 편향된 모습을 보일 수밖에 없는 존재입니다. 그러니 인공지능을 훈련시키는 데이터를 보다 광범위하고 다양하게 늘려야 합니다. 더 많은 시각과 더 많은 생각들을 인공지능에 주입시켜야 하죠.”
그러면서 화이팅은 “인공지능이 결정을 내리는 과정을 평가할 수 있는 방법을 개발해야 할 필요가 있다”고 주장했다. “인공지능 내부를 블랙박스라고 부르면서, 어떤 식으로 인공지능이 결론에 도달했는지 아무도 알 수가 없다고 하는데, 사실 그러면 안 되는 거 아닐까요? 인공지능에 목숨을 맡길 수 있을 정도로 신뢰하려면, 그 내부 사정도 다 알아야죠. 이 블랙박스 난제도 시급히 해결해야 합니다.”
3줄 요약
1. 인공지능에 대한 기대감 치솟고 있지만, 성장은 사실 더딤.
2. 인공지능이 소화하는 데이터가 가진 편향성 문제, 인공지능이 공격에 먼저 활용되는 문제가 특히 여러 오류 낳고 있음.
3. 인공지능을 더 신뢰할 수 있으려면 인공지능의 결정 과정도 환히 꿰뚫고 있어야 함.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-04-18] 
.jpg)
.jpg)
.jpg)
