검색 증강 생성(RAG), LLM이 답변 생성 전에 외부 데이터 소스 참조해 정확도 높이는 방식
LLM이 특정 도메인·조직 내부 데이터 활용해 보다 정밀한 답변 생성 가능
이글루코퍼레이션, RAG의 주요 특징 및 작동 방식 설명
[보안뉴스 김영명 기자] 미국 오픈AI(Open AI)가 대형 언어 모델(Large Language Model, LLM)을 활용한 인공지능(AI) 챗봇 서비스인 챗GPT(ChatGPT)를 공개한 이후 LLM은 AI 분야의 핵심 기술로 주목받고 있다. 구글의 PaLM, 메타의 LLaMA, 마이크로소프트의 코파일럿(Copilot), 네이버의 클로버(CLOVA) X 등 국내외 기업이 관련 서비스를 선보이고 있다. 하지만 LLM은 많은 취약점이 나오며 기업에서는 도입·사용을 꺼리는 현상도 나타나고 있다.
이글루코퍼레이션은 최근 다양한 취약점을 내포하는 LLM을 보완하며 학습 데이터의 무결성을 확보하는 방법으로 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 소개했다.
사업 및 서비스 혁신, 생산성 향상을 위해 LLM을 도입하려는 기업이 늘고 있지만 반대로 취약점으로 인해 도입을 금지하는 기업도 늘고 있다. 유럽연합을 포함해 전 세계 여러 국가에서는 AI의 부작용을 방지하고 안정성을 강화하기 위해 AI 규제를 시행하고 있다.
국제 웹 보안 분야의 비영리 재단 OWASP(The Open Web Application Security Project)는 LLM 애플리케이션의 가장 치명적인 취약점 10가지를 발표했다. 먼저 이를 살펴보자.
첫 번째는 ‘프롬프트 주입(Prompt Injection)’이다. 이는 악의적인 프롬프트(질문)를 입력해 LLM이 본래 정책이나 가이드라인에 구애받지 않고 공격자 의도대로 작동하도록 하는 취약점이다. 이는 LLM 접근 권한 제어 강화와 외부 콘텐츠 분리 등을 통해 완화할 수 있다.
두 번째는 ‘불완전한 출력 처리(Insecure Output Handling)’다. LLM에서 생성된 출력이 검증 없이 다른 시스템으로 전달될 경우, 원격 코드 실행 등의 위협이 발생할 수 있다. 이는 제로 트러스트 접근 방식 사용과 입력 유효성 검사 등을 통해 예방할 수 있다.
세 번째는 ‘학습 데이터 중독(Training Data Poisoning)’으로 사전 학습 데이터를 조작해 모델의 보안성과 효율성을 손상시키는 취약점이다. 사용자가 오염된 정보에 노출되거나 시스템 성능 저하를 초래할 수 있다. 이는 안정성이 검증된 학습 데이터를 사용해 예방할 수 있다.
네 번째는 ‘모델 서비스 거부(Model Denial of Service)’다. 공격자가 대량의 리소스를 소모시켜 다른 사용자의 서비스 품질을 저하시키고 높은 리소스 비용을 발생시킨다. 이는 사용자 입력 제한 규칙 준수와 리소스 사용량 제한 등을 통해 예방할 수 있다.
다섯 번째는 ‘공급망 취약점(Supply Chain Vulnerabilities)’이다. 체계적인 방식이나 도구 없이는 LLM 공급망을 관리하기 어려워 소프트웨어 공급망 취약점과 유사한 위협이 발생할 수 있다. 따라서 신뢰할 수 있는 공급 업체 사용과 패치 정책 구현 등을 고려해야 한다.
여섯 번째는 ‘민감 정보 노출(Sensitive Information Disclosure)’이다. LLM의 답변을 통해 민감한 정보가 노출되고, 이로 인해 개인정보 침해나 지적재산의 무단 액세스가 발생할 수 있다. 적절한 데이터 정제 기술로 민감 데이터가 학습 데이터에 포함되지 않도록 해야 한다.
일곱 번째는 ‘불완전 플러그인 설계(Insecure Plugin Design)’다. LLM 플러그인은 사용자가 다른 앱 사용 중 자동으로 호출되는 확장 기능으로 모델이 다른 플랫폼에서 제공될 때 앱 실행을 제어할 수 없어 원격코드 실행 등 위협이 발생할 수 있다. 이를 예방하기 위해 민감한 작업 실행 시 수동 승인을 요구하고 인증 ID를 적용해야 한다.
여덟 번째는 ‘과도한 에이전시(Excessive Agency)’로 기능 호출 권한을 가진 에이전트가 LLM의 출력에 대응해 해로운 작업을 수행할 수 있다. 이는 세분화된 기능을 갖춘 플러그인을 사용하고 최소한의 권한으로 제한하는 등의 방법으로 예방할 수 있다.
아홉 번째는 ‘과도한 의존(Overreliance)’이다. LLM이 환각 현상이 발생할 수 있다. 이는 파인튜닝, 임베딩, RAG 기법 등으로 품질을 개선하고 검증을 받으며, 사용자가 LLM의 한계를 인식하게 해 예방 가능하다.
열 번째는 ‘모델 도난(Model Theft)’이다. 공격자가 해킹을 통해 LLM 모델에 무단으로 접근하거나 모델이 유출될 수 있다. 이는 강력한 보안 조치를 통해 예방할 수 있다.
이밖에도 모델의 정보가 최신이 아니거나, 편향된 데이터를 학습해 차별적인 답을 할 수 있다. 따라서 LLM의 안정성을 강화하기 위해서는 학습 데이터의 무결성 확보, 권한·접근 제어 강화, 모델 관리 및 모니터링이 필요하며, 사용자가 LLM의 한계를 인식하는 것도 중요하다.
검색 증강 생성, 정보 환각현상 보완하는 방법 중 하나
기존의 LLM은 사용자 입력으로 학습된 데이터에 기반해 답변을 생성한다. 사용자가 LLM이 학습되지 않은 질문을 하면, LLM의 데이터 중 가장 확률이 높은 정보를 조합해 답을 만든다. 이 과정에서 허위 정보나 오래된 정보를 사실인 듯 제공하는 환각 현상이 발생할 수 있다.
이러한 환각 현상을 보완하며 학습 데이터의 무결성을 확보하기 위한 방법의 하나가 검색 증강 생성(Retrieval-Augmented Generation, RAG)이다. RAG는 LLM이 답변을 생성하기 전에 외부 학습 데이터 소스를 참조해 정확도를 높이는 방식이다. 방대한 양의 데이터를 학습한 LLM이 특정 도메인이나 조직의 내부 데이터를 활용해 보다 정밀한 답변을 생성할 수 있다.
RAG의 작동 방식을 살펴보면 크게 ‘외부 데이터 생성-관련 정보 검색-LLM 프롬프트 확장-외부 데이터 업데이트’ 순으로 진행된다. 먼저 ‘외부 데이터 생성’에서는 API, 데이터베이스(DB), 문서 등 다양한 소스에서 원하는 데이터를 가져온다. 데이터는 파일, DB 레코드, 텍스트 등 여러 형식이 가능하다. LLM이 이해하도록 복잡한 데이터를 임베딩 언어모델을 사용해 벡터 형태로 변환한다. 변환된 벡터 데이터를 벡터 DB에 저장해 지식 라이브러리를 생성한다.
‘관련 정보 검색’에서는 사용자가 프롬프트를 입력하면, 질의 인코더(Query Encoder)가 사용자 프롬프트를 벡터 형태로 인코딩한 후 관련된 정보를 벡터 DB에서 검색해 가져온다. 관련 정보 검색은 키워드 검색, 시맨틱 검색, 이 두 방법을 결합한 하이브리드 검색 방법이 있다.
‘LLM 프롬프트 확장’에서는 검색된 데이터를 컨텍스트(Context)에 추가해 사용자 프롬프트를 보강한다. 확장된 프롬프트를 LLM에 전달하면, LLM이 검색 데이터를 활용해 답변을 만든다. 마지막으로 ‘외부 데이터 업데이트’ 단계는 문서를 비동기적으로 업데이트하는 것을 의미한다.
RAG 이외에 LLM의 환각 현상을 줄이는 또 다른 방법은 ‘파인튜닝(Fine-Tuning)’이 있다. 파인튜닝은 LLM에 도메인 특화 데이터를 학습시켜 맞춤형 모델로 업데이트하는 방법이다.
이글루코퍼레이션 연구기획팀은 “RAG는 이러한 문제를 완화하고 데이터 접근성을 혁신할 수 있는 방법”이라며 “파인튜닝과 달리 최신 정보를 제공하기 쉬우며 출처가 확실한 데이터에 기반해 답변을 만들기 때문에 주목받고 있다”고 설명했다. 이어 “기업은 AI 기반 생산성의 잠재력을 최대한 활용하기 위해 RAG 기술을 수용하고 데이터를 강화해 나가야 한다”고 강조했다.
[김영명 기자(boan@boannews.com)]
LLM이 특정 도메인·조직 내부 데이터 활용해 보다 정밀한 답변 생성 가능
이글루코퍼레이션, RAG의 주요 특징 및 작동 방식 설명
[보안뉴스 김영명 기자] 미국 오픈AI(Open AI)가 대형 언어 모델(Large Language Model, LLM)을 활용한 인공지능(AI) 챗봇 서비스인 챗GPT(ChatGPT)를 공개한 이후 LLM은 AI 분야의 핵심 기술로 주목받고 있다. 구글의 PaLM, 메타의 LLaMA, 마이크로소프트의 코파일럿(Copilot), 네이버의 클로버(CLOVA) X 등 국내외 기업이 관련 서비스를 선보이고 있다. 하지만 LLM은 많은 취약점이 나오며 기업에서는 도입·사용을 꺼리는 현상도 나타나고 있다.
▲LLM 애플리케이션의 데이터 플로에서 발생 가능한 취약점[출처=OWASP]
이글루코퍼레이션은 최근 다양한 취약점을 내포하는 LLM을 보완하며 학습 데이터의 무결성을 확보하는 방법으로 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 소개했다.
사업 및 서비스 혁신, 생산성 향상을 위해 LLM을 도입하려는 기업이 늘고 있지만 반대로 취약점으로 인해 도입을 금지하는 기업도 늘고 있다. 유럽연합을 포함해 전 세계 여러 국가에서는 AI의 부작용을 방지하고 안정성을 강화하기 위해 AI 규제를 시행하고 있다.
국제 웹 보안 분야의 비영리 재단 OWASP(The Open Web Application Security Project)는 LLM 애플리케이션의 가장 치명적인 취약점 10가지를 발표했다. 먼저 이를 살펴보자.
첫 번째는 ‘프롬프트 주입(Prompt Injection)’이다. 이는 악의적인 프롬프트(질문)를 입력해 LLM이 본래 정책이나 가이드라인에 구애받지 않고 공격자 의도대로 작동하도록 하는 취약점이다. 이는 LLM 접근 권한 제어 강화와 외부 콘텐츠 분리 등을 통해 완화할 수 있다.
두 번째는 ‘불완전한 출력 처리(Insecure Output Handling)’다. LLM에서 생성된 출력이 검증 없이 다른 시스템으로 전달될 경우, 원격 코드 실행 등의 위협이 발생할 수 있다. 이는 제로 트러스트 접근 방식 사용과 입력 유효성 검사 등을 통해 예방할 수 있다.
세 번째는 ‘학습 데이터 중독(Training Data Poisoning)’으로 사전 학습 데이터를 조작해 모델의 보안성과 효율성을 손상시키는 취약점이다. 사용자가 오염된 정보에 노출되거나 시스템 성능 저하를 초래할 수 있다. 이는 안정성이 검증된 학습 데이터를 사용해 예방할 수 있다.
네 번째는 ‘모델 서비스 거부(Model Denial of Service)’다. 공격자가 대량의 리소스를 소모시켜 다른 사용자의 서비스 품질을 저하시키고 높은 리소스 비용을 발생시킨다. 이는 사용자 입력 제한 규칙 준수와 리소스 사용량 제한 등을 통해 예방할 수 있다.
다섯 번째는 ‘공급망 취약점(Supply Chain Vulnerabilities)’이다. 체계적인 방식이나 도구 없이는 LLM 공급망을 관리하기 어려워 소프트웨어 공급망 취약점과 유사한 위협이 발생할 수 있다. 따라서 신뢰할 수 있는 공급 업체 사용과 패치 정책 구현 등을 고려해야 한다.
▲마켓에서 주목받는 생성형 AI 애플리케이션[출처=pixelplex]
여섯 번째는 ‘민감 정보 노출(Sensitive Information Disclosure)’이다. LLM의 답변을 통해 민감한 정보가 노출되고, 이로 인해 개인정보 침해나 지적재산의 무단 액세스가 발생할 수 있다. 적절한 데이터 정제 기술로 민감 데이터가 학습 데이터에 포함되지 않도록 해야 한다.
일곱 번째는 ‘불완전 플러그인 설계(Insecure Plugin Design)’다. LLM 플러그인은 사용자가 다른 앱 사용 중 자동으로 호출되는 확장 기능으로 모델이 다른 플랫폼에서 제공될 때 앱 실행을 제어할 수 없어 원격코드 실행 등 위협이 발생할 수 있다. 이를 예방하기 위해 민감한 작업 실행 시 수동 승인을 요구하고 인증 ID를 적용해야 한다.
여덟 번째는 ‘과도한 에이전시(Excessive Agency)’로 기능 호출 권한을 가진 에이전트가 LLM의 출력에 대응해 해로운 작업을 수행할 수 있다. 이는 세분화된 기능을 갖춘 플러그인을 사용하고 최소한의 권한으로 제한하는 등의 방법으로 예방할 수 있다.
아홉 번째는 ‘과도한 의존(Overreliance)’이다. LLM이 환각 현상이 발생할 수 있다. 이는 파인튜닝, 임베딩, RAG 기법 등으로 품질을 개선하고 검증을 받으며, 사용자가 LLM의 한계를 인식하게 해 예방 가능하다.
열 번째는 ‘모델 도난(Model Theft)’이다. 공격자가 해킹을 통해 LLM 모델에 무단으로 접근하거나 모델이 유출될 수 있다. 이는 강력한 보안 조치를 통해 예방할 수 있다.
이밖에도 모델의 정보가 최신이 아니거나, 편향된 데이터를 학습해 차별적인 답을 할 수 있다. 따라서 LLM의 안정성을 강화하기 위해서는 학습 데이터의 무결성 확보, 권한·접근 제어 강화, 모델 관리 및 모니터링이 필요하며, 사용자가 LLM의 한계를 인식하는 것도 중요하다.
▲챗GPT LLM 환각 현상 예시[출처=Testworks]
검색 증강 생성, 정보 환각현상 보완하는 방법 중 하나
기존의 LLM은 사용자 입력으로 학습된 데이터에 기반해 답변을 생성한다. 사용자가 LLM이 학습되지 않은 질문을 하면, LLM의 데이터 중 가장 확률이 높은 정보를 조합해 답을 만든다. 이 과정에서 허위 정보나 오래된 정보를 사실인 듯 제공하는 환각 현상이 발생할 수 있다.
이러한 환각 현상을 보완하며 학습 데이터의 무결성을 확보하기 위한 방법의 하나가 검색 증강 생성(Retrieval-Augmented Generation, RAG)이다. RAG는 LLM이 답변을 생성하기 전에 외부 학습 데이터 소스를 참조해 정확도를 높이는 방식이다. 방대한 양의 데이터를 학습한 LLM이 특정 도메인이나 조직의 내부 데이터를 활용해 보다 정밀한 답변을 생성할 수 있다.
▲RAG의 사용 구조[출처=AWS]
RAG의 작동 방식을 살펴보면 크게 ‘외부 데이터 생성-관련 정보 검색-LLM 프롬프트 확장-외부 데이터 업데이트’ 순으로 진행된다. 먼저 ‘외부 데이터 생성’에서는 API, 데이터베이스(DB), 문서 등 다양한 소스에서 원하는 데이터를 가져온다. 데이터는 파일, DB 레코드, 텍스트 등 여러 형식이 가능하다. LLM이 이해하도록 복잡한 데이터를 임베딩 언어모델을 사용해 벡터 형태로 변환한다. 변환된 벡터 데이터를 벡터 DB에 저장해 지식 라이브러리를 생성한다.
‘관련 정보 검색’에서는 사용자가 프롬프트를 입력하면, 질의 인코더(Query Encoder)가 사용자 프롬프트를 벡터 형태로 인코딩한 후 관련된 정보를 벡터 DB에서 검색해 가져온다. 관련 정보 검색은 키워드 검색, 시맨틱 검색, 이 두 방법을 결합한 하이브리드 검색 방법이 있다.
‘LLM 프롬프트 확장’에서는 검색된 데이터를 컨텍스트(Context)에 추가해 사용자 프롬프트를 보강한다. 확장된 프롬프트를 LLM에 전달하면, LLM이 검색 데이터를 활용해 답변을 만든다. 마지막으로 ‘외부 데이터 업데이트’ 단계는 문서를 비동기적으로 업데이트하는 것을 의미한다.
RAG 이외에 LLM의 환각 현상을 줄이는 또 다른 방법은 ‘파인튜닝(Fine-Tuning)’이 있다. 파인튜닝은 LLM에 도메인 특화 데이터를 학습시켜 맞춤형 모델로 업데이트하는 방법이다.
이글루코퍼레이션 연구기획팀은 “RAG는 이러한 문제를 완화하고 데이터 접근성을 혁신할 수 있는 방법”이라며 “파인튜닝과 달리 최신 정보를 제공하기 쉬우며 출처가 확실한 데이터에 기반해 답변을 만들기 때문에 주목받고 있다”고 설명했다. 이어 “기업은 AI 기반 생산성의 잠재력을 최대한 활용하기 위해 RAG 기술을 수용하고 데이터를 강화해 나가야 한다”고 강조했다.
[김영명 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김영명기자 기사보기
[2024-10-31] .jpg)
