.jpg)
.jpg)
LLM이라는 최첨단 기술을 훈련시키려면 방대한 정보가 필요하고, 그래서 LLM 회사들은 각종 공유 플랫폼을 통해 라이브러리나 코드를 공유하면서 서로를 발전시키고 있다. 그런데 최근 메타에서 만든 인공지능 모델들에서 오작동이 나기 시작했다. 인공지능의 문제가 아니었다.
[보안뉴스 문가용 기자] 메타에서 개발하고 제공하는 대형 언어 모델(LLM)인 블룸(Bloom), 메타라마(Meta-Llama), 파이시아(Pythia)의 리포지터리에 일부 보안 전문가들이 접속하는 데 성공했고, 읽기와 쓰기 권한까지 가져갔다. 이는 LLM 생태계에 커다란 경고가 되는 사건이다. LLM을 기반으로 한 애플리케이션들 역시 공급망 공격에서 자유롭지 못하다는 것을 시사하기 때문이다.
공격자들이 LLM의 리포지터리에 접근할 수 있다면 어떻게 될까? 블룸, 메타라마, 파이시아라는 인기 높은 LLM에 주입되는 훈련 데이터를 아무도 몰래 오염시킬 수 있다는 뜻이 된다. 역으로 훈련 데이터를 훔쳐가 분석할 수도 있고, 그 외 다른 악성 활동을 통해 위험 수위를 높일 수도 있다. 이런 모든 행위들은 이 세 가지 LLM을 가져다가 여러 가지 방법과 모양으로 활용하는 모든 사용자들에게 악영향을 미칠 수밖에 없게 된다.
이번 실험에 성공한 건 인공지능 보안 전문 스타트업인 라소시큐리티(Lasso Security)이다. 이들은 보호 장치가 제대로 갖춰지지 않은 API 접근 토큰들을 활용해 메타의 LLM과 직접 연결된 리포지터리들에 접속할 수 있었다고 한다. 문제의 API 접근 토큰들의 경우 LLM 개발자들을 위한 플랫폼인 허깅페이스(Hugging Face)와 일반 개발자들까지도 자유롭게 드나드는 플랫폼인 깃허브(GitHub)에서 어렵지 않게 찾아낼 수 있었다고 한다.
사실 연구원들이 이번 실험을 진행하면서 찾아낸 접근 토큰은 1500개가 넘는다고 한다. 구글, 마이크로소프트, VM웨어 등 첫 손에 꼽힐 만한 빅테크 기업들을 포함해 총 722개 조직이 보유하고 있었어야 하는 접근 토큰이었다. 토큰마다 권한이 달라 이를 악용했을 때 얻는 효과가 조금씩 달라지긴 했지만, 그럼에도 라소시큐리티의 연구원들은 적잖은 기업들의 접근 토큰을 간단히 확보할 수 있었고, 따라서 실제 공격자들 역시 비슷하게 간단한 방식으로 접근 권한을 얻어낼 수 있을 것으로 보인다고 라소 측은 강조했다.
라소의 연구원 바 라냐도(Bar Lanyado)는 “허깅페이스나 깃허브와 같은 플랫폼들은 사용자들이 실수로 공개해 둔 API 키나 토큰들을 굳이 보호하지 않는다는 걸 기억해야 한다”고 말한다. “심지어 그렇게 보호하는 게 그런 플랫폼들의 책임도 아닙니다. 실수로라도 API 키나 토큰을 공개하지 않고, 그랬을 때에라도 얼른 조치를 취해야 하는 건 오롯이 사용자의 책임입니다. 코드 공유 플랫폼들에 보안을 요구할 수는 없습니다.”
허깅페이스는 LLM 분야 전문가들이 거의 매일처럼 사용하는 플랫폼으로, 각종 LLM 프로젝트들을 위한 자원과 도구들이 이 플랫폼을 통해 제공된다. 허깅페이스에서는 트랜스포머스(Transformers)라는 서비스가 유명한데, 이는 일종의 오픈소스 라이브러리로 미리 훈련된 인공지능 모델들을 다운로드 받아 필요에 맞춰 미세 조정할 수 있게 해 준다. 현재 이 플랫폼에는 50만 개가 넘는 인공지능 모델들과 25만 개가 넘는 데이터셋이 존재한다. 위에서 언급된 유명 기업들의 프로젝트들도 다수 존재한다.
“LLM 개발이 많은 전문가들의 주목을 받음에 따라 허깅페이스의 인기도 빠르게 올라가는 중입니다. 그래서 이번에 허깅페이스의 현황을 조사하기로 한 것입니다. 11월에는 이곳에서 노출된 API 토큰들이 있나 조사했고, 이를 통해 허깅페이스에 호스팅 되어 있는(혹은 저장되어 있는) 여러 데이터셋과 인공지능 모델들에 접근할 수 있는지를 알아봤습니다. 여기에 기존 리포지터리 강자인 깃허브도 같이 살폈고요. 처음에는 저희 편에서 미숙해서 많이 찾지를 못했는데, 어느 정도 익숙해지고 나니 노출된 토큰을 다량으로 찾아낼 수 있었습니다.”
라냐도는 이번 실험 성공에 대해 “인공지능 모델들 자체에 있는 취약점이 아니라, 그것을 개발하고 다루고 공유하고 배포하는 구조 자체에서 발견되는 문제를 찾아낸 것”이라고 강조한다. “원래 코드 리포지터리들에는 별별 정보들이 다 올라와 있는 게 사실입니다. 오래 전부터 지적되어 왔지만 고쳐지지 않는 문제이지요. 그럼에도 저희가 그리 꼼꼼하게 훑어본 것도 아닌데 이렇게나 많은 토큰을 건져낼 수 있었으며, 이를 통해 주요 LLM의 훈련 데이터에까지 접근할 수 있게 됐다는 건 여전히 놀라웠습니다.”
라소가 깃허브와 허깅페이스에서 찾아낸 접근 토큰은 총 1976개였다. 이 중 사용이 여전히 가능했던 건 1681개였다. 1326개는 깃허브에서, 370개는 허깅페이스에서 발견했다고 한다. 655개는 쓰기 권한까지 제공했다. 이런 토큰을 통해 높은 권한으로 접속하는 데 성공했던 조직은 총 77개였다. 이들 모두 메타라마, 파이시아 혹은 블룸을 멋 모르고 사용하고 있었지만 이 세 가지 LLM 리포지터리를 통해 누군가 몰래 자신들에게 악영향을 미칠 수 있다는 사실은 까맣게 모르고 있었을 가능성이 높다고 라냐도는 지적한다.
라소는 이러한 연구 결과를 관련이 있는 모든 사용자와 기업들에게 알리고 있는 상황이다. 해결법은 간단하다고 한다. 노출된 토큰들을 삭제시키고 새 토큰을 활용하기 시작하는 것이다. 또한 토큰 관리 현황을 파악해 필요하다면 이후를 위한 추가 조치를 취해야 하기도 한다. “메타, 구글, MS, VM웨어와 같은 기업들은 빠르게 움직이고 있습니다. 이미 사용자들에게 권고문이 나갔고, 토큰 취소 및 재설정에 대한 촉구 내용도 같이 포함되어 있었습니다.”
3줄 요약
1. 메타의 인공지능 모델들을 훈련시키는 데 사용되는 데이터에 몰래 접근 가능.
2. 접근 성공할 경우 LLM 모델들을 오염시키거나 다른 악성 행위를 할 수 있음.
3. 문제는 LLM 훈련 데이터셋이 보관되어 있는 공공 리포지터리에 쉽게 접근할 수 있다는 것.
[국제부 문가용 기자(globoan@boannews.com)]
[보안뉴스 문가용 기자] 메타에서 개발하고 제공하는 대형 언어 모델(LLM)인 블룸(Bloom), 메타라마(Meta-Llama), 파이시아(Pythia)의 리포지터리에 일부 보안 전문가들이 접속하는 데 성공했고, 읽기와 쓰기 권한까지 가져갔다. 이는 LLM 생태계에 커다란 경고가 되는 사건이다. LLM을 기반으로 한 애플리케이션들 역시 공급망 공격에서 자유롭지 못하다는 것을 시사하기 때문이다.
[이미지 = gettyimagesbank]
공격자들이 LLM의 리포지터리에 접근할 수 있다면 어떻게 될까? 블룸, 메타라마, 파이시아라는 인기 높은 LLM에 주입되는 훈련 데이터를 아무도 몰래 오염시킬 수 있다는 뜻이 된다. 역으로 훈련 데이터를 훔쳐가 분석할 수도 있고, 그 외 다른 악성 활동을 통해 위험 수위를 높일 수도 있다. 이런 모든 행위들은 이 세 가지 LLM을 가져다가 여러 가지 방법과 모양으로 활용하는 모든 사용자들에게 악영향을 미칠 수밖에 없게 된다.
이번 실험에 성공한 건 인공지능 보안 전문 스타트업인 라소시큐리티(Lasso Security)이다. 이들은 보호 장치가 제대로 갖춰지지 않은 API 접근 토큰들을 활용해 메타의 LLM과 직접 연결된 리포지터리들에 접속할 수 있었다고 한다. 문제의 API 접근 토큰들의 경우 LLM 개발자들을 위한 플랫폼인 허깅페이스(Hugging Face)와 일반 개발자들까지도 자유롭게 드나드는 플랫폼인 깃허브(GitHub)에서 어렵지 않게 찾아낼 수 있었다고 한다.
사실 연구원들이 이번 실험을 진행하면서 찾아낸 접근 토큰은 1500개가 넘는다고 한다. 구글, 마이크로소프트, VM웨어 등 첫 손에 꼽힐 만한 빅테크 기업들을 포함해 총 722개 조직이 보유하고 있었어야 하는 접근 토큰이었다. 토큰마다 권한이 달라 이를 악용했을 때 얻는 효과가 조금씩 달라지긴 했지만, 그럼에도 라소시큐리티의 연구원들은 적잖은 기업들의 접근 토큰을 간단히 확보할 수 있었고, 따라서 실제 공격자들 역시 비슷하게 간단한 방식으로 접근 권한을 얻어낼 수 있을 것으로 보인다고 라소 측은 강조했다.
라소의 연구원 바 라냐도(Bar Lanyado)는 “허깅페이스나 깃허브와 같은 플랫폼들은 사용자들이 실수로 공개해 둔 API 키나 토큰들을 굳이 보호하지 않는다는 걸 기억해야 한다”고 말한다. “심지어 그렇게 보호하는 게 그런 플랫폼들의 책임도 아닙니다. 실수로라도 API 키나 토큰을 공개하지 않고, 그랬을 때에라도 얼른 조치를 취해야 하는 건 오롯이 사용자의 책임입니다. 코드 공유 플랫폼들에 보안을 요구할 수는 없습니다.”
허깅페이스는 LLM 분야 전문가들이 거의 매일처럼 사용하는 플랫폼으로, 각종 LLM 프로젝트들을 위한 자원과 도구들이 이 플랫폼을 통해 제공된다. 허깅페이스에서는 트랜스포머스(Transformers)라는 서비스가 유명한데, 이는 일종의 오픈소스 라이브러리로 미리 훈련된 인공지능 모델들을 다운로드 받아 필요에 맞춰 미세 조정할 수 있게 해 준다. 현재 이 플랫폼에는 50만 개가 넘는 인공지능 모델들과 25만 개가 넘는 데이터셋이 존재한다. 위에서 언급된 유명 기업들의 프로젝트들도 다수 존재한다.
“LLM 개발이 많은 전문가들의 주목을 받음에 따라 허깅페이스의 인기도 빠르게 올라가는 중입니다. 그래서 이번에 허깅페이스의 현황을 조사하기로 한 것입니다. 11월에는 이곳에서 노출된 API 토큰들이 있나 조사했고, 이를 통해 허깅페이스에 호스팅 되어 있는(혹은 저장되어 있는) 여러 데이터셋과 인공지능 모델들에 접근할 수 있는지를 알아봤습니다. 여기에 기존 리포지터리 강자인 깃허브도 같이 살폈고요. 처음에는 저희 편에서 미숙해서 많이 찾지를 못했는데, 어느 정도 익숙해지고 나니 노출된 토큰을 다량으로 찾아낼 수 있었습니다.”
라냐도는 이번 실험 성공에 대해 “인공지능 모델들 자체에 있는 취약점이 아니라, 그것을 개발하고 다루고 공유하고 배포하는 구조 자체에서 발견되는 문제를 찾아낸 것”이라고 강조한다. “원래 코드 리포지터리들에는 별별 정보들이 다 올라와 있는 게 사실입니다. 오래 전부터 지적되어 왔지만 고쳐지지 않는 문제이지요. 그럼에도 저희가 그리 꼼꼼하게 훑어본 것도 아닌데 이렇게나 많은 토큰을 건져낼 수 있었으며, 이를 통해 주요 LLM의 훈련 데이터에까지 접근할 수 있게 됐다는 건 여전히 놀라웠습니다.”
라소가 깃허브와 허깅페이스에서 찾아낸 접근 토큰은 총 1976개였다. 이 중 사용이 여전히 가능했던 건 1681개였다. 1326개는 깃허브에서, 370개는 허깅페이스에서 발견했다고 한다. 655개는 쓰기 권한까지 제공했다. 이런 토큰을 통해 높은 권한으로 접속하는 데 성공했던 조직은 총 77개였다. 이들 모두 메타라마, 파이시아 혹은 블룸을 멋 모르고 사용하고 있었지만 이 세 가지 LLM 리포지터리를 통해 누군가 몰래 자신들에게 악영향을 미칠 수 있다는 사실은 까맣게 모르고 있었을 가능성이 높다고 라냐도는 지적한다.
라소는 이러한 연구 결과를 관련이 있는 모든 사용자와 기업들에게 알리고 있는 상황이다. 해결법은 간단하다고 한다. 노출된 토큰들을 삭제시키고 새 토큰을 활용하기 시작하는 것이다. 또한 토큰 관리 현황을 파악해 필요하다면 이후를 위한 추가 조치를 취해야 하기도 한다. “메타, 구글, MS, VM웨어와 같은 기업들은 빠르게 움직이고 있습니다. 이미 사용자들에게 권고문이 나갔고, 토큰 취소 및 재설정에 대한 촉구 내용도 같이 포함되어 있었습니다.”
3줄 요약
1. 메타의 인공지능 모델들을 훈련시키는 데 사용되는 데이터에 몰래 접근 가능.
2. 접근 성공할 경우 LLM 모델들을 오염시키거나 다른 악성 행위를 할 수 있음.
3. 문제는 LLM 훈련 데이터셋이 보관되어 있는 공공 리포지터리에 쉽게 접근할 수 있다는 것.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-11-01] 
