아직 이유와 원리를 알 수 없는 인공지능의 편향성...완전 제거 불가능해
편향성은 데이터 자체에 있지 않아...데이터로부터 결정이 추출되는 과정 속에 존재
[보안뉴스 문가용 기자] 사업 경영진과 IT 결정권자들이 인공지능에 빠져들고 있다는 소식이 여기저기서 들려오고 있다. 또한 인공지능이 올바른 결과를 내게 만들기 위해서는 조심스럽고 신중하게 구축해야 한다는 걸 이해하기 시작했다는 반가운 이야기도 존재한다. 얼마 전까지 기업들은 경쟁적으로 인공지능을 도입하면서 여러 가지 사고를 일으키거나 경험했었는데 말이다.
어쩌면 그런 소식들 덕분에 ‘인공지능=인류의 희망’과 같은 공식이 사라지고 있는지도 모르겠다. 이제 사람들은 인공지능의 부정적인 측면에도 관심을 갖기 시작했다. 그 중 가장 큰 문젯거리로 떠오르고 있는 건 ‘편향성’이다. 주입되는 데이터를 통해 서서히 구축되어 가는 편향성은 인공지능의 아킬레스건과 같다.
머신러닝을 위한 데이터를 제공하는 업체 데이터로봇(DataRobot)이 최근 발표한 보고서(The State of AI Bias in 2019)에 의하면 사용자 기업의 42%가 “인공지능이 가진 편향성 때문에 심히 우려스럽다”는 의견을 표출했다고 한다. 편향성이 자리 잡는 걸 막기 위한 인공지능 가이드라인을 발표하는 등 실제적인 절차를 밟기 시작했다는 기업은 83%나 되었다. 85%는 인공지능 편향성과 관련된 규제가 필요하다고 답했으며, 93%는 인공지능의 편향성을 방지하기 위해 1년 안에 예산을 더 투자할 계획이라고 한다. 왜? 편향성 때문에 브랜드 이미지에 손상이 가고, 고객의 신뢰를 잃을까봐서.
하지만 데이터로봇은 편향성을 완전히 제거하거나 예방하는 건 현실적이지 않다고 보고서를 통해 강조한다. 지금으로써 우리가 할 수 있는 일은 ‘최소화’뿐이라고 한다. “편향성에도 수많은 종류가 있고, 인공지능이 적용되는 사례도 무궁무진하며, 편향성이 인공지능 내에서 자라게 되는 경위도 셀 수 없이 많기 때문입니다. 이걸 다 조사해서 막을 능력이 우리에겐 아직 없습니다.” 데이터로봇의 부회장인 콜린 프리스트(Colin Priest)의 설명이다.
“편향성은 사람이라면 누구나 가지고 있는 특성이며, 따라서 전혀 새로울 것이 없는 개념입니다. 다만 인공지능에서의 편향성이란, 훨씬 더 극적으로 발현되고 측정이 가능하다는 차이가 있습니다.” 그러면서 프리스트는 한 가지 사실을 강조한다. “편향성이라는 것 자체가 상대적인 개념입니다. 사례와 상황에 따라 다르게 판단될 수 있으며, 사람마다 다른 가치관을 가지고 있어 절대적 판단 기준이라는 게 존재하지 않습니다.”
예를 들어 서양에서는 ‘동등한 기회’라는 것에 큰 가치를 부여하려는 경향이 문화적으로 존재한다고 프리스트는 설명한다. “그럼에도 젊은 남성은 다른 부류들에 비해 비싼 자동차 보험금을 지불하며, 노인들은 생명보험 값이 비쌉니다. 개인의 이력이 어떻든지 간에 ‘젊은 남성’이면 편향적으로 보험금이 올라간다는 것이죠. 하지만 여기에는 합당한 이유가 있고, 따라서 무조건 ‘편향성’에 기초한 잘못된 계산 방식이라고 말할 수만은 없습니다.”
그러나 아마존이나 애플의 알고리즘이 최근 드러낸 여성에 대한 부정적인 편향성은 상황에 따라 다르게 볼 여지가 그리 많지 않다. 그래서 일반 대중들 사이에서 ‘인공지능의 편향성’이라는 문제가 빠르게 확산된 것이다. “수학적으로 이런 편향성을 깨끗하게 걷어낼 방법이 없습니다. 사람도 지난 수천 년 동안 해결하지 못한 문제이기도 하고요.”
공평함이 핵심
따라서 ‘해결’보다는 ‘최소화’에 초점을 두는 것이 지금으로서는 올바른 접근법이다. 그리고 추구해야 할 결과는 ‘공평함’이다. 다만 이 ‘공평함’이라는 것도 꽤나 주관적인 개념이라 간단치 않다. “가치라는 것에 대한 이론적 정의와, 그걸 알고리즘으로 구현해내는 것 사이에는 대단히 큰 차이가 있습니다.” 프리스트의 설명이다.
“유럽연합이나 IEEE와 같은 곳에서 각종 윤리 가이드를 발행합니다. 여러 정부들도 마찬가지죠. 그런 문건들을 구해서 읽어보면, 다들 큰 줄기에서의 개념은 거의 비슷해요. 추구해야 할 가치가 무엇인지, 어떤 게 올바른 가치관이며, 어떤 것을 피해야 하는지 대부분 의견에 합치를 봅니다. 하지만 그 내용을 여러 상황과 시나리오에 맞게 상세히 적용하려는 순간, 거대한 벽에 부딪힙니다. 저 역시 뭘 해야 할지 모르겠다는 느낌을 받은 게 여러 번입니다.”
그래서 ‘보편적 편향성 걷어내기’라는 식으로 접근해서는 아무 것도 할 수 없다는 게 프리스트의 조언이다. 그러면서 다음 몇 가지 사안들부터 결정하라고 조언한다.
1) 누구를 보호해야 하는가?
2) 인공지능 사용 현황에 대해 어느 선까지 공개할 것인가?
3) 인공지능이 여러 관계자들에게 어떤 영향을 미치는가?
4) 인공지능이 낸 결과물에 대해 반박하거나 질문이 들어올 가능성이 높은가?
부즈 앨런 해밀턴(Booz Allen Hamilton)의 커스텐 로이드(Kirsten Lloyd)가 이를 좀 더 풀어서 설명해준다. “어떻게 관리하든 완벽히 공정한 시스템을 만들 수는 없습니다. 모든 알고리즘이 어느 정도는 기울 수밖에 없어요. 그걸 가지고 공정한 결과를 어떻게 낼 것인가를 고민해야 하는 것이죠. 편향성이 있을 수밖에 없는 알고리즘을 가지고 가치를 창출하고, 편향성 자체는 최대한 반영되지 않도록 손을 쓰는 게 핵심입니다. 근본부터 편향성을 없애는 게 아니라요.”
그렇기 때문에 가이드라인이라는 게 반드시 필요하다고 인공지능 전문가들은 강조한다. 또한 이 ‘가이드라인’이라는 것은 기업이 추구하는 가치관을 기초로 작성되어야 한다고 한다. “그렇다면 ‘누가 이 가이드라인을 작성할 수 있는가?’로 문제가 귀결됩니다. 답은 AI 전문가나 보안 전문가, CEO가 아닙니다. 각 부서에서 뽑힌 사람들이 팀을 이뤄 다양한 시각과 의견을 제공해가며 공동으로 작성해야 합니다. 그래야 손에 주어진 알고리즘을 가지고 최대한의 공평함을 추구할 수 있게 됩니다.”
그러면서 로이드는 다음 세 가지를 고려하라고 권장한다.
1) 기업이 추구하는 가치는 무엇인가?
2) 가이드라인 작성 프로젝트가 진행되는 방향이, 기업의 가치와 목표를 제대로 반영하고 있는가?
3) 인공지능이 실제 업무 환경에서 활용되는 상황에서 ‘공평함’이란 무엇을 의미하는가?
“먼저 공평함에 대한 정의를 조직 차원에서 내려야 해요. ‘우리 회사가 말하는 공평함은 무엇인가?’를 제대로 정의할 수 없으면서 편향성을 어떻게 다룰 수 있겠습니까?” 프리스트의 말이다. “편향성이 데이터 때문에 생긴다고 해서, 데이터부터 점검하는 건 좋은 생각이 아닙니다. 데이터는 그냥 데이터에요. 편향성은 데이터로부터 패턴을 이끌어내고, 그것을 바탕으로 결정을 내리는 과정에서 생깁니다. 패턴이 형성되는 과정과, 그것으로 인해 내려지는 결정 자체를 보는 게 맞죠.”
서드파티 데이터에서의 편향성
사용자 기업에서는 인공지능에 ‘서드파티 데이터’를 기업 내부 데이터와 함께 주입하기도 한다. 프리스트는 이 부분에서 사고가 발생할 확률이 높다고 말한다. “여성들에게 한도를 낮게 준 애플 카드(Apple Card) 인공지능을 보세요. 왜 그런 일이 일어났을까요? 골드만삭스(Goldman Sachs)와 애플에서 제공한 데이터에 대한 거버넌스가 부족했기 때문입니다. 그렇다고 해서 ‘골드만삭스의 잘못’이라고 누가 인정해주나요. 그걸 애플에서 관리하기를 모두가 기대하죠. 그러니 서드파티 데이터로 인공지능을 훈련시킬 땐 어떤 결과가 나오는지 면밀하게 확인한 후에 실제 활용을 시작해야 합니다.”
프리스트는 “인공지능 알고리즘은 인간 직원과 같다”고 말하기도 한다. “인공지능이 기업의 이름을 걸고 한 일은, 결국 기업의 책임이 됩니다. 회사 직원이 나가서 한 일 때문에 회사가 칭찬을 듣거나 비판을 받는 것과 마찬가지입니다. 그러니 서드파티 데이터까지도 회사가 책임을 지고 관리해야 합니다.”
정책과 규제, 좋은 것인가 나쁜 것인가?
데이터로봇의 보고서에 의하면 사용자 기업의 85%가 정책과 규제에 관심을 가지고 있다고 한다. 그러나 인공지능 전문 벤더들 사이에서는 의견이 갈리는 편이다. 규제가 발전을 방해할 거라는 의견과, 규제가 있어야 안전하게 발전할 수 있다는 의견이 팽팽히 맞서고 있다.
프리스트는 “사용자 기업이라고 하더라도 분야별로 의견이 다르다는 걸 알 수 있다”고 설명을 보충한다. “예를 들어 금융 산업의 경우, 워낙 규제가 많은 분야라 규제에 대한 거부감이 덜합니다. 그러나 규제에 대한 의존도가 높은 경향이 있기도 하죠. 옳으냐 그르냐를 생각하는 것보다, 규제에 따르는 것인가 위반인가에 더 많은 초점이 맞춰져 있습니다. 규제가 반드시 옳은 것만은 아닌데 말이죠.”
규제가 너무 보편적이거나 일반적이면 실제 적용에 문제가 생긴다. 반대로 지나치게 상세하면 의도치 않은 권한이 생겨버린다. 균형 잡기가 어렵다는 건데, 정부 기관에서 규제를 담당하는 사람들이 인공지능에 대해 거의 아무 것도 모른다는 것이 규제와 관련된 가장 큰 문제이기도 하다. 이는 거의 모든 나라에서 공통으로 나타나는 현상이며, 아직 뚜렷한 해결책이 나오지 않고 있다.
로이드는 “시간이 좀 더 걸려야 해결될 문제”라고 말한다. “어떤 규제가 필요하고 불필요할까요? 아무도 모릅니다. 시간이 좀 지나야 사회적 합의가 도출될 겁니다. 규제가 필요하거나 필요하지 않거나를 논하기에는 아직은 시기상조인 느낌이 있습니다. 즉 ‘올바른 규제’를 만들 기회가 아직 있다는 것이죠.”
편향성은 인공지능 도입을 계획하는 모든 기업과 조직들이 반드시 고려해야 할 문제다. 인공지능으로 얻을 수 있는 여러 가지 이점들에 대해 그 동안 익혀왔다면, 이제 인공지능 때문에 생길 수 있는 문제들도 파악해야 한다. “편향성은 요즘 같이 인권이 강조되는 시대에 대단히 큰 사업적 리스크가 될 수 있다”는 프리스트는 “인공지능에 대해 편견 없이 검토할 줄 아는 능력이 모든 조직들로부터 요구되고 있다”고 강조한다.
[국제부 문가용 기자(globoan@boannews.com)]
편향성은 데이터 자체에 있지 않아...데이터로부터 결정이 추출되는 과정 속에 존재
[보안뉴스 문가용 기자] 사업 경영진과 IT 결정권자들이 인공지능에 빠져들고 있다는 소식이 여기저기서 들려오고 있다. 또한 인공지능이 올바른 결과를 내게 만들기 위해서는 조심스럽고 신중하게 구축해야 한다는 걸 이해하기 시작했다는 반가운 이야기도 존재한다. 얼마 전까지 기업들은 경쟁적으로 인공지능을 도입하면서 여러 가지 사고를 일으키거나 경험했었는데 말이다.
[이미지 = iclickart]
어쩌면 그런 소식들 덕분에 ‘인공지능=인류의 희망’과 같은 공식이 사라지고 있는지도 모르겠다. 이제 사람들은 인공지능의 부정적인 측면에도 관심을 갖기 시작했다. 그 중 가장 큰 문젯거리로 떠오르고 있는 건 ‘편향성’이다. 주입되는 데이터를 통해 서서히 구축되어 가는 편향성은 인공지능의 아킬레스건과 같다.
머신러닝을 위한 데이터를 제공하는 업체 데이터로봇(DataRobot)이 최근 발표한 보고서(The State of AI Bias in 2019)에 의하면 사용자 기업의 42%가 “인공지능이 가진 편향성 때문에 심히 우려스럽다”는 의견을 표출했다고 한다. 편향성이 자리 잡는 걸 막기 위한 인공지능 가이드라인을 발표하는 등 실제적인 절차를 밟기 시작했다는 기업은 83%나 되었다. 85%는 인공지능 편향성과 관련된 규제가 필요하다고 답했으며, 93%는 인공지능의 편향성을 방지하기 위해 1년 안에 예산을 더 투자할 계획이라고 한다. 왜? 편향성 때문에 브랜드 이미지에 손상이 가고, 고객의 신뢰를 잃을까봐서.
하지만 데이터로봇은 편향성을 완전히 제거하거나 예방하는 건 현실적이지 않다고 보고서를 통해 강조한다. 지금으로써 우리가 할 수 있는 일은 ‘최소화’뿐이라고 한다. “편향성에도 수많은 종류가 있고, 인공지능이 적용되는 사례도 무궁무진하며, 편향성이 인공지능 내에서 자라게 되는 경위도 셀 수 없이 많기 때문입니다. 이걸 다 조사해서 막을 능력이 우리에겐 아직 없습니다.” 데이터로봇의 부회장인 콜린 프리스트(Colin Priest)의 설명이다.
“편향성은 사람이라면 누구나 가지고 있는 특성이며, 따라서 전혀 새로울 것이 없는 개념입니다. 다만 인공지능에서의 편향성이란, 훨씬 더 극적으로 발현되고 측정이 가능하다는 차이가 있습니다.” 그러면서 프리스트는 한 가지 사실을 강조한다. “편향성이라는 것 자체가 상대적인 개념입니다. 사례와 상황에 따라 다르게 판단될 수 있으며, 사람마다 다른 가치관을 가지고 있어 절대적 판단 기준이라는 게 존재하지 않습니다.”
예를 들어 서양에서는 ‘동등한 기회’라는 것에 큰 가치를 부여하려는 경향이 문화적으로 존재한다고 프리스트는 설명한다. “그럼에도 젊은 남성은 다른 부류들에 비해 비싼 자동차 보험금을 지불하며, 노인들은 생명보험 값이 비쌉니다. 개인의 이력이 어떻든지 간에 ‘젊은 남성’이면 편향적으로 보험금이 올라간다는 것이죠. 하지만 여기에는 합당한 이유가 있고, 따라서 무조건 ‘편향성’에 기초한 잘못된 계산 방식이라고 말할 수만은 없습니다.”
그러나 아마존이나 애플의 알고리즘이 최근 드러낸 여성에 대한 부정적인 편향성은 상황에 따라 다르게 볼 여지가 그리 많지 않다. 그래서 일반 대중들 사이에서 ‘인공지능의 편향성’이라는 문제가 빠르게 확산된 것이다. “수학적으로 이런 편향성을 깨끗하게 걷어낼 방법이 없습니다. 사람도 지난 수천 년 동안 해결하지 못한 문제이기도 하고요.”
공평함이 핵심
따라서 ‘해결’보다는 ‘최소화’에 초점을 두는 것이 지금으로서는 올바른 접근법이다. 그리고 추구해야 할 결과는 ‘공평함’이다. 다만 이 ‘공평함’이라는 것도 꽤나 주관적인 개념이라 간단치 않다. “가치라는 것에 대한 이론적 정의와, 그걸 알고리즘으로 구현해내는 것 사이에는 대단히 큰 차이가 있습니다.” 프리스트의 설명이다.
“유럽연합이나 IEEE와 같은 곳에서 각종 윤리 가이드를 발행합니다. 여러 정부들도 마찬가지죠. 그런 문건들을 구해서 읽어보면, 다들 큰 줄기에서의 개념은 거의 비슷해요. 추구해야 할 가치가 무엇인지, 어떤 게 올바른 가치관이며, 어떤 것을 피해야 하는지 대부분 의견에 합치를 봅니다. 하지만 그 내용을 여러 상황과 시나리오에 맞게 상세히 적용하려는 순간, 거대한 벽에 부딪힙니다. 저 역시 뭘 해야 할지 모르겠다는 느낌을 받은 게 여러 번입니다.”
그래서 ‘보편적 편향성 걷어내기’라는 식으로 접근해서는 아무 것도 할 수 없다는 게 프리스트의 조언이다. 그러면서 다음 몇 가지 사안들부터 결정하라고 조언한다.
1) 누구를 보호해야 하는가?
2) 인공지능 사용 현황에 대해 어느 선까지 공개할 것인가?
3) 인공지능이 여러 관계자들에게 어떤 영향을 미치는가?
4) 인공지능이 낸 결과물에 대해 반박하거나 질문이 들어올 가능성이 높은가?
부즈 앨런 해밀턴(Booz Allen Hamilton)의 커스텐 로이드(Kirsten Lloyd)가 이를 좀 더 풀어서 설명해준다. “어떻게 관리하든 완벽히 공정한 시스템을 만들 수는 없습니다. 모든 알고리즘이 어느 정도는 기울 수밖에 없어요. 그걸 가지고 공정한 결과를 어떻게 낼 것인가를 고민해야 하는 것이죠. 편향성이 있을 수밖에 없는 알고리즘을 가지고 가치를 창출하고, 편향성 자체는 최대한 반영되지 않도록 손을 쓰는 게 핵심입니다. 근본부터 편향성을 없애는 게 아니라요.”
그렇기 때문에 가이드라인이라는 게 반드시 필요하다고 인공지능 전문가들은 강조한다. 또한 이 ‘가이드라인’이라는 것은 기업이 추구하는 가치관을 기초로 작성되어야 한다고 한다. “그렇다면 ‘누가 이 가이드라인을 작성할 수 있는가?’로 문제가 귀결됩니다. 답은 AI 전문가나 보안 전문가, CEO가 아닙니다. 각 부서에서 뽑힌 사람들이 팀을 이뤄 다양한 시각과 의견을 제공해가며 공동으로 작성해야 합니다. 그래야 손에 주어진 알고리즘을 가지고 최대한의 공평함을 추구할 수 있게 됩니다.”
그러면서 로이드는 다음 세 가지를 고려하라고 권장한다.
1) 기업이 추구하는 가치는 무엇인가?
2) 가이드라인 작성 프로젝트가 진행되는 방향이, 기업의 가치와 목표를 제대로 반영하고 있는가?
3) 인공지능이 실제 업무 환경에서 활용되는 상황에서 ‘공평함’이란 무엇을 의미하는가?
“먼저 공평함에 대한 정의를 조직 차원에서 내려야 해요. ‘우리 회사가 말하는 공평함은 무엇인가?’를 제대로 정의할 수 없으면서 편향성을 어떻게 다룰 수 있겠습니까?” 프리스트의 말이다. “편향성이 데이터 때문에 생긴다고 해서, 데이터부터 점검하는 건 좋은 생각이 아닙니다. 데이터는 그냥 데이터에요. 편향성은 데이터로부터 패턴을 이끌어내고, 그것을 바탕으로 결정을 내리는 과정에서 생깁니다. 패턴이 형성되는 과정과, 그것으로 인해 내려지는 결정 자체를 보는 게 맞죠.”
서드파티 데이터에서의 편향성
사용자 기업에서는 인공지능에 ‘서드파티 데이터’를 기업 내부 데이터와 함께 주입하기도 한다. 프리스트는 이 부분에서 사고가 발생할 확률이 높다고 말한다. “여성들에게 한도를 낮게 준 애플 카드(Apple Card) 인공지능을 보세요. 왜 그런 일이 일어났을까요? 골드만삭스(Goldman Sachs)와 애플에서 제공한 데이터에 대한 거버넌스가 부족했기 때문입니다. 그렇다고 해서 ‘골드만삭스의 잘못’이라고 누가 인정해주나요. 그걸 애플에서 관리하기를 모두가 기대하죠. 그러니 서드파티 데이터로 인공지능을 훈련시킬 땐 어떤 결과가 나오는지 면밀하게 확인한 후에 실제 활용을 시작해야 합니다.”
프리스트는 “인공지능 알고리즘은 인간 직원과 같다”고 말하기도 한다. “인공지능이 기업의 이름을 걸고 한 일은, 결국 기업의 책임이 됩니다. 회사 직원이 나가서 한 일 때문에 회사가 칭찬을 듣거나 비판을 받는 것과 마찬가지입니다. 그러니 서드파티 데이터까지도 회사가 책임을 지고 관리해야 합니다.”
정책과 규제, 좋은 것인가 나쁜 것인가?
데이터로봇의 보고서에 의하면 사용자 기업의 85%가 정책과 규제에 관심을 가지고 있다고 한다. 그러나 인공지능 전문 벤더들 사이에서는 의견이 갈리는 편이다. 규제가 발전을 방해할 거라는 의견과, 규제가 있어야 안전하게 발전할 수 있다는 의견이 팽팽히 맞서고 있다.
프리스트는 “사용자 기업이라고 하더라도 분야별로 의견이 다르다는 걸 알 수 있다”고 설명을 보충한다. “예를 들어 금융 산업의 경우, 워낙 규제가 많은 분야라 규제에 대한 거부감이 덜합니다. 그러나 규제에 대한 의존도가 높은 경향이 있기도 하죠. 옳으냐 그르냐를 생각하는 것보다, 규제에 따르는 것인가 위반인가에 더 많은 초점이 맞춰져 있습니다. 규제가 반드시 옳은 것만은 아닌데 말이죠.”
규제가 너무 보편적이거나 일반적이면 실제 적용에 문제가 생긴다. 반대로 지나치게 상세하면 의도치 않은 권한이 생겨버린다. 균형 잡기가 어렵다는 건데, 정부 기관에서 규제를 담당하는 사람들이 인공지능에 대해 거의 아무 것도 모른다는 것이 규제와 관련된 가장 큰 문제이기도 하다. 이는 거의 모든 나라에서 공통으로 나타나는 현상이며, 아직 뚜렷한 해결책이 나오지 않고 있다.
로이드는 “시간이 좀 더 걸려야 해결될 문제”라고 말한다. “어떤 규제가 필요하고 불필요할까요? 아무도 모릅니다. 시간이 좀 지나야 사회적 합의가 도출될 겁니다. 규제가 필요하거나 필요하지 않거나를 논하기에는 아직은 시기상조인 느낌이 있습니다. 즉 ‘올바른 규제’를 만들 기회가 아직 있다는 것이죠.”
편향성은 인공지능 도입을 계획하는 모든 기업과 조직들이 반드시 고려해야 할 문제다. 인공지능으로 얻을 수 있는 여러 가지 이점들에 대해 그 동안 익혀왔다면, 이제 인공지능 때문에 생길 수 있는 문제들도 파악해야 한다. “편향성은 요즘 같이 인권이 강조되는 시대에 대단히 큰 사업적 리스크가 될 수 있다”는 프리스트는 “인공지능에 대해 편견 없이 검토할 줄 아는 능력이 모든 조직들로부터 요구되고 있다”고 강조한다.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-04-18] 
.jpg)
.jpg)
