3줄 요약
1. 작년 상반기부터 LLM재킹 공격 눈에 띄기 시작.
2. 다른 회사 LLM 몰래 사용해 큰 손해 발생.
3. 각종 민감 데이터 유출 가능성도 존재.
[보안뉴스 문가용 기자] 대형 언어 모델(LLM)을 노리는 공격이 빈번해지고 있다. 그 중에서도 LLM재킹(LLMjacking)이라는 새 기법이 큰 유행의 조짐을 보여 대책이 필요하다. 단순히 공격 기술이 하나 새로 등장한 게 아니라, 범죄 산업 하나가 통째로 출범했다고 봐야 한다.
LLM재킹은 보안 업체 시스딕(Sysdig)에서 2024년 상반기에 만든 용어다. “공격자가 탈취한 크리덴셜을 사용해 피해자의 LLM에 접근하는 행위를 의미합니다. A라는 기업이 사용하기 위해 등록해 둔 LLM 서비스에 엉뚱한 사람이 접속해 자기 마음 대로 쓰는 것이죠. 이것만으로 여러 피해가 발생합니다.”
공격자들은 각종 LLM의 API 접근 권한을 훔쳐 ORP라는 것을 구성하고 있다. ORP는 ‘오픈AI 리버스 프록시’(OpenAI Reverse Proxy)의 준말로, 각종 LLM들의 ‘리버스 프록시 서버’ 역할을 한다. 정상 LLM 서버와 사용자 중간에 개입하는 뭔가를 설치한다는 뜻이다. 그러므로 LLM 서비스를 중간에서 가로채 자기 것처럼 쓰는 게 가능해진다. 도메인은 동적으로 생성되기 때문에 추적도 쉽지 않다.
“공격자들은 현재 다양한 API들로 만들어진 ORP를 구성하고 있습니다. 최근 화제가 된 딥시크 API의 경우 이미 55개가 각종 ORP에 등록되어 있기도 하고, 어떤 공격자는 오픈AI와 구글, 미스트럴(Mistral) 등 다양한 서비스의 API 키 수백 개를 가지고 ORP를 운영하고 있기도 했습니다.”
그 중 눈에 띄는 건 vip.jewproxy.tech에 호스팅 되어 있는 ORP였다. 운영자는 이 ORP의 사용권을 다크웹에서 판매하고 있었다. “30일 사용에 30달러만 내면 됐습니다. 가격이 저렴해서인지 이미 수많은 사람들이 사용하고 있었습니다.”
어마어마한 금전 손해
이 악성 ORP는 이미 다른 사람 명의로 개설된 LLM 서비스를 엉뚱한 사람이 사용할 수 있도록 하는 악성 중간자 서비스였다. LLM 서비스로서는 정상 사용자가 이용하는 것이든, 누군가 중간에서 훔쳐 쓰는 것이든 상관 없이 원래 사용자에게 비용을 청구할 뿐이고, 정상 사용자는 다른 사람이 사용한 것까지 대신 지불해야 하는 상황에 처한다.
“클라우드에 호스팅 된 LLM이 텍스트를 처리할 때 생성하는 단어, 문자 집합, 또는 단어와 구두점의 조합을 ‘토큰’이라고 합니다. LLM의 사용량은 보통 입력 및 출력 토큰 수를 기준으로 측정됩니다. 불법 ORP에 남아 있는 현 시점의 기록들을 기반으로 토큰 수를 계산하고, 이를 다시 여러 LLM 서비스들이 요구하는 평균 비용을 곱하면 피해자들이 입는 금전 손실의 대략을 알 수 있습니다. 4.5일 동안 5만달러 정도였습니다.”
ORP를 통해 불법적으로 사용되는 LLM 서비스들 중 클로드 3 오퍼스(Claude 3 Opus)가 가장 많이 소비되고 있었다. 무려 8억 6559만개 토큰을 공격자들이 소모시킨 것. “이를 명시된 토큰 가격을 기준으로 환산하면 단일 계정 소유자가 부담해야 할 비용은 3만 8951달러였습니다.” 한국 돈으로 약 3900만원 정도의 금액이다. 모든 ORP에서 사용된 총 토큰의 수는 20억 개를 족히 넘는 것으로 집계됐다.
돈만 문제가 아니다. 기밀 및 각종 민감 정보가 유출될 가능성도 존재한다. “공격자가 타인의 LLM 서비스에 접근할 경우, 원 소유자가 속해 있는 기업의 내부 데이터와 고객 정보, 지적 재산이 무단으로 유출될 가능성이 큽니다.”
ORP를 개설해 다른 LLM 서비스를 훔쳐 쓰는 공격의 전술이나 활용도가 빠르게 진화할 것이라는 게 더 큰 문제라고 시스딕은 지적한다. “실제로 공격자들은 이미 커뮤니티를 형성하여 도구와 기술을 공유하고 있으며, 조직적이고 정교하게 자신들의 행위를 가다듬고 있습니다.”
그래서?
“LLM재킹은 이미 조직화 된 공격이며 넓어지고 있는 시장입니다. 대응 역시 개별 차원에서 할 수 없습니다. 보안과 인공지능 업계가 정보와 방법을 공유하고 협업해야 합니다.”
구체적인 대응책으로 시스딕은 “아이덴티티 및 접근 키 관리”를 첫손에 꼽는다. “현재까지 LLM재킹은 크리덴셜이나 접근 키 유출로부터 시작되고 있습니다. 클라우드 인프라에서 발생하는 공격 중 거의 대부분이 클라우드 계정을 탈취하는 것에서부터 시작되는 것과 비슷합니다. 클라우드 인프라 그 자체, 인공지능 모델 그 자체를 뚫어내는 것이 아니라 사용자 개개인의 계정을 겨냥한다는 것에서 말이죠.”
시스딕이 제안하는 보안 수칙은 다음과 같다.
1) 접근 키와 크리덴셜의 하드코딩 금지
2) 임시 크리덴셜 적극 활용
3) 정기적 키 교체
4) 크리덴셜 노출 여부 자동 확인, 탐지, 대응
5) 계정 행동 모니터링
“LLM재킹 공격은 이제 막 태어나 발전하고 있는 위협입니다. 앞으로 더 무서워질 것이고, 활발해질 것입니다. 이미 수요와 공급을 기반으로 돌아가고 있는 암시장이 존재한다는 건, 발전의 기반이 마련됐다는 뜻입니다. 공동의 대응책을 마련하지 않는다면 많은 LLM 및 클라우드 사용자들이 큰 금전 손실을 입게 될 것입니다.”
LLM재킹 공격에 대한 보다 상세한 내용과 구체적 대처법, 각 클라우드 서비스와 연결된 인공지능 모델이 발생시키는 예상 비용 등은 이번 주 13일에 공개되는 프리미엄 리포트를 통해 열람하실 수 있습니다.
[국제부 문가용 기자(globoan@boannews.com)]
1. 작년 상반기부터 LLM재킹 공격 눈에 띄기 시작.
2. 다른 회사 LLM 몰래 사용해 큰 손해 발생.
3. 각종 민감 데이터 유출 가능성도 존재.
[보안뉴스 문가용 기자] 대형 언어 모델(LLM)을 노리는 공격이 빈번해지고 있다. 그 중에서도 LLM재킹(LLMjacking)이라는 새 기법이 큰 유행의 조짐을 보여 대책이 필요하다. 단순히 공격 기술이 하나 새로 등장한 게 아니라, 범죄 산업 하나가 통째로 출범했다고 봐야 한다.
[자료: gettyimagesbank.com]
LLM재킹은 보안 업체 시스딕(Sysdig)에서 2024년 상반기에 만든 용어다. “공격자가 탈취한 크리덴셜을 사용해 피해자의 LLM에 접근하는 행위를 의미합니다. A라는 기업이 사용하기 위해 등록해 둔 LLM 서비스에 엉뚱한 사람이 접속해 자기 마음 대로 쓰는 것이죠. 이것만으로 여러 피해가 발생합니다.”
공격자들은 각종 LLM의 API 접근 권한을 훔쳐 ORP라는 것을 구성하고 있다. ORP는 ‘오픈AI 리버스 프록시’(OpenAI Reverse Proxy)의 준말로, 각종 LLM들의 ‘리버스 프록시 서버’ 역할을 한다. 정상 LLM 서버와 사용자 중간에 개입하는 뭔가를 설치한다는 뜻이다. 그러므로 LLM 서비스를 중간에서 가로채 자기 것처럼 쓰는 게 가능해진다. 도메인은 동적으로 생성되기 때문에 추적도 쉽지 않다.
“공격자들은 현재 다양한 API들로 만들어진 ORP를 구성하고 있습니다. 최근 화제가 된 딥시크 API의 경우 이미 55개가 각종 ORP에 등록되어 있기도 하고, 어떤 공격자는 오픈AI와 구글, 미스트럴(Mistral) 등 다양한 서비스의 API 키 수백 개를 가지고 ORP를 운영하고 있기도 했습니다.”
그 중 눈에 띄는 건 vip.jewproxy.tech에 호스팅 되어 있는 ORP였다. 운영자는 이 ORP의 사용권을 다크웹에서 판매하고 있었다. “30일 사용에 30달러만 내면 됐습니다. 가격이 저렴해서인지 이미 수많은 사람들이 사용하고 있었습니다.”
어마어마한 금전 손해
이 악성 ORP는 이미 다른 사람 명의로 개설된 LLM 서비스를 엉뚱한 사람이 사용할 수 있도록 하는 악성 중간자 서비스였다. LLM 서비스로서는 정상 사용자가 이용하는 것이든, 누군가 중간에서 훔쳐 쓰는 것이든 상관 없이 원래 사용자에게 비용을 청구할 뿐이고, 정상 사용자는 다른 사람이 사용한 것까지 대신 지불해야 하는 상황에 처한다.
“클라우드에 호스팅 된 LLM이 텍스트를 처리할 때 생성하는 단어, 문자 집합, 또는 단어와 구두점의 조합을 ‘토큰’이라고 합니다. LLM의 사용량은 보통 입력 및 출력 토큰 수를 기준으로 측정됩니다. 불법 ORP에 남아 있는 현 시점의 기록들을 기반으로 토큰 수를 계산하고, 이를 다시 여러 LLM 서비스들이 요구하는 평균 비용을 곱하면 피해자들이 입는 금전 손실의 대략을 알 수 있습니다. 4.5일 동안 5만달러 정도였습니다.”
ORP를 통해 불법적으로 사용되는 LLM 서비스들 중 클로드 3 오퍼스(Claude 3 Opus)가 가장 많이 소비되고 있었다. 무려 8억 6559만개 토큰을 공격자들이 소모시킨 것. “이를 명시된 토큰 가격을 기준으로 환산하면 단일 계정 소유자가 부담해야 할 비용은 3만 8951달러였습니다.” 한국 돈으로 약 3900만원 정도의 금액이다. 모든 ORP에서 사용된 총 토큰의 수는 20억 개를 족히 넘는 것으로 집계됐다.
돈만 문제가 아니다. 기밀 및 각종 민감 정보가 유출될 가능성도 존재한다. “공격자가 타인의 LLM 서비스에 접근할 경우, 원 소유자가 속해 있는 기업의 내부 데이터와 고객 정보, 지적 재산이 무단으로 유출될 가능성이 큽니다.”
ORP를 개설해 다른 LLM 서비스를 훔쳐 쓰는 공격의 전술이나 활용도가 빠르게 진화할 것이라는 게 더 큰 문제라고 시스딕은 지적한다. “실제로 공격자들은 이미 커뮤니티를 형성하여 도구와 기술을 공유하고 있으며, 조직적이고 정교하게 자신들의 행위를 가다듬고 있습니다.”
그래서?
“LLM재킹은 이미 조직화 된 공격이며 넓어지고 있는 시장입니다. 대응 역시 개별 차원에서 할 수 없습니다. 보안과 인공지능 업계가 정보와 방법을 공유하고 협업해야 합니다.”
구체적인 대응책으로 시스딕은 “아이덴티티 및 접근 키 관리”를 첫손에 꼽는다. “현재까지 LLM재킹은 크리덴셜이나 접근 키 유출로부터 시작되고 있습니다. 클라우드 인프라에서 발생하는 공격 중 거의 대부분이 클라우드 계정을 탈취하는 것에서부터 시작되는 것과 비슷합니다. 클라우드 인프라 그 자체, 인공지능 모델 그 자체를 뚫어내는 것이 아니라 사용자 개개인의 계정을 겨냥한다는 것에서 말이죠.”
시스딕이 제안하는 보안 수칙은 다음과 같다.
1) 접근 키와 크리덴셜의 하드코딩 금지
2) 임시 크리덴셜 적극 활용
3) 정기적 키 교체
4) 크리덴셜 노출 여부 자동 확인, 탐지, 대응
5) 계정 행동 모니터링
“LLM재킹 공격은 이제 막 태어나 발전하고 있는 위협입니다. 앞으로 더 무서워질 것이고, 활발해질 것입니다. 이미 수요와 공급을 기반으로 돌아가고 있는 암시장이 존재한다는 건, 발전의 기반이 마련됐다는 뜻입니다. 공동의 대응책을 마련하지 않는다면 많은 LLM 및 클라우드 사용자들이 큰 금전 손실을 입게 될 것입니다.”
LLM재킹 공격에 대한 보다 상세한 내용과 구체적 대처법, 각 클라우드 서비스와 연결된 인공지능 모델이 발생시키는 예상 비용 등은 이번 주 13일에 공개되는 프리미엄 리포트를 통해 열람하실 수 있습니다.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2025-02-11] .jpg)
.jpg)
