NLP(자연어처리) 최고 권위 학회 3년 연속 논문 공식 채택
S2W, NLP분야 3대 학회 중 하나인 ‘NAACL 2024’에서 사이버튠 공개
사이버튠, 문맥 파악하는 버트 고도화해 보안 문서 이해 가능한 AI 언어모델
다크웹 전용 AI 언어모델 ‘다크버트’를 잇는 S2W 자체 언어모델로 ‘주목’
[보안뉴스 박은주 기자] AI 및 보안 전문 데이터 인텔리전스 기업 ‘에스투더블유(이하 S2W, 대표 서상덕)’는 세계 3대 인공지능 학회로 꼽히는 ‘NAACL(북미 전산언어학학회)’에서 사이버보안 문서에 특화된 AI 언어모델 ‘사이버튠(CyBERTuned)’을 공개했다고 20일 밝혔다.
S2W가 NLP(자연어처리) 최고 권위 학회에서 선도적인 AI 언어모델 기술력을 인정받으며 세계 시장의 주목을 받았다.
S2W는 6월 16일부터 21일까지 멕시코시티에서 열린 NAACL 2024에 참석해 ‘사이버보안 영역에서의 사전 학습을 위한 비언어적 요소 활용(Ignore Me But Don’t Replace Me: Utilizing Non-Linguistic Elements for Pretraining on the Cybersecurity Domain)’ 논문을 발표했다. 이로써 S2W는 NLP(자연어처리) 분야 세계 최정상급 학회(ACL, EMNLP, NAACL)에서 3년 연속으로 논문이 채택되는 성과를 달성했다.
S2W와 카이스트(KAIST) 연구진이 공동 개발한 사이버튠은 사이버 보안 데이터 특성을 고려해 버트(BERT) 등 인코더 모델을 효과적으로 미세조정 즉, 파인튜닝(Tuned)한 AI 언어모델이라는 의미를 담고 있다. 2023년 세계 최초로 선보인 다크웹 전용 AI 언어모델 ‘다크버트’에 이어 두 번째로 공개하는 S2W만의 언어모델로도 눈길을 끈다.
사이버튠 기본 틀이 되는 ‘버트’란 언어모델에 더욱 고차원 단계인 문맥을 이해할 수 있도록 MLM(Masked Language Modeling)을 거쳐 작업 수행 능력을 향상하는 양방향 언어 인코더 모델이다. 버트가 일반적인 문자열 외에도 URL, SHA Hash처럼 사람이 쉽게 해석하기 어려운 비언어적 요소가 담긴 사이버보안 문서를 잘 이해하도록 돕는 것이 사이버튠 핵심기술이다.
업계 전문가들에 따르면 기존에도 보안 문서 대상으로 AI 언어모델을 학습한 시도는 있었다. 다만 일반적으로 사용되는 언어와 전문적인 사이버보안 지식에 사용되는 언어가 달라 맥락을 제대로 이해하는 데 한계가 존재했다.
S2W는 이를 개선하기 위해 자체적으로 비정형 데이터를 가공하고 독보적인 모니터링 기술로 보안 문서 데이터를 수집했다. 비언어적 요소에 대해서는 문장 구성 요소 대신 유형(Class)을 학습하도록 방식을 변경했다. 이를 통해 사이버보안 관련 문서 분류, 개체명 인식, 사건 탐지 등 다양한 작업에서 유의미한 결과를 얻을 수 있었다.
사이버튠은 오픈소스로 공개돼 앞으로 AI를 이용해 사이버보안 문서를 분석하고 이를 통해 새로운 위협 발굴 및 효과적 대응을 고민하는 조직과 전문가에게 도움을 줄 것으로 기대된다. 또한, S2W의 자비스, 퀘이사 등 자사 서비스에도 적용하는 등 다양한 AI 관련 모듈에 확대 적용할 예정이다.
구체적으로 사이버튠을 통해 웹상의 수많은 사이버 보안 문서를 실시간으로 인코딩해 벡터DB에 저장한다. 사용자 질문이 주어지면 검색증강생성(RAG) 방식으로 질문에 답이 될 수 있는 문서를 빠르게 검색 후 거대언어모델(LLM)을 통해 답변을 생성, 사용자에게 제공하는 식의 검색 기반 챗봇 서비스를 공개할 계획이다.
S2W 서상덕 대표는 “사이버튠은 보안 위협을 발견하는 것을 넘어 실질적인 해결 솔루션까지 제시할 수 있는 강력한 보안 기술로 S2W가 글로벌 데이터 인텔리전스 기업으로 고속 성장하는 핵심 동력이 될 것”이라며 “앞으로도 보안 특화 AI 언어모델 분야에서 독보적 기술 경쟁력을 유지해 나갈 것”이라고 전했다.
한편, S2W는 최근 AI 및 보안 전문 데이터 인텔리전스 기업으로서의 비전을 발표해 국내외 시장에서 이목을 모은 바 있다.
[박은주 기자(boan5@boannews.com)]
S2W, NLP분야 3대 학회 중 하나인 ‘NAACL 2024’에서 사이버튠 공개
사이버튠, 문맥 파악하는 버트 고도화해 보안 문서 이해 가능한 AI 언어모델
다크웹 전용 AI 언어모델 ‘다크버트’를 잇는 S2W 자체 언어모델로 ‘주목’
[보안뉴스 박은주 기자] AI 및 보안 전문 데이터 인텔리전스 기업 ‘에스투더블유(이하 S2W, 대표 서상덕)’는 세계 3대 인공지능 학회로 꼽히는 ‘NAACL(북미 전산언어학학회)’에서 사이버보안 문서에 특화된 AI 언어모델 ‘사이버튠(CyBERTuned)’을 공개했다고 20일 밝혔다.
▲S2W, 세계 최정상 인공지능 학회서 보안 특화 AI 언어모델 ‘사이버튠’ 공개[이미지=S2W]
S2W가 NLP(자연어처리) 최고 권위 학회에서 선도적인 AI 언어모델 기술력을 인정받으며 세계 시장의 주목을 받았다.
S2W는 6월 16일부터 21일까지 멕시코시티에서 열린 NAACL 2024에 참석해 ‘사이버보안 영역에서의 사전 학습을 위한 비언어적 요소 활용(Ignore Me But Don’t Replace Me: Utilizing Non-Linguistic Elements for Pretraining on the Cybersecurity Domain)’ 논문을 발표했다. 이로써 S2W는 NLP(자연어처리) 분야 세계 최정상급 학회(ACL, EMNLP, NAACL)에서 3년 연속으로 논문이 채택되는 성과를 달성했다.
S2W와 카이스트(KAIST) 연구진이 공동 개발한 사이버튠은 사이버 보안 데이터 특성을 고려해 버트(BERT) 등 인코더 모델을 효과적으로 미세조정 즉, 파인튜닝(Tuned)한 AI 언어모델이라는 의미를 담고 있다. 2023년 세계 최초로 선보인 다크웹 전용 AI 언어모델 ‘다크버트’에 이어 두 번째로 공개하는 S2W만의 언어모델로도 눈길을 끈다.
사이버튠 기본 틀이 되는 ‘버트’란 언어모델에 더욱 고차원 단계인 문맥을 이해할 수 있도록 MLM(Masked Language Modeling)을 거쳐 작업 수행 능력을 향상하는 양방향 언어 인코더 모델이다. 버트가 일반적인 문자열 외에도 URL, SHA Hash처럼 사람이 쉽게 해석하기 어려운 비언어적 요소가 담긴 사이버보안 문서를 잘 이해하도록 돕는 것이 사이버튠 핵심기술이다.
업계 전문가들에 따르면 기존에도 보안 문서 대상으로 AI 언어모델을 학습한 시도는 있었다. 다만 일반적으로 사용되는 언어와 전문적인 사이버보안 지식에 사용되는 언어가 달라 맥락을 제대로 이해하는 데 한계가 존재했다.
S2W는 이를 개선하기 위해 자체적으로 비정형 데이터를 가공하고 독보적인 모니터링 기술로 보안 문서 데이터를 수집했다. 비언어적 요소에 대해서는 문장 구성 요소 대신 유형(Class)을 학습하도록 방식을 변경했다. 이를 통해 사이버보안 관련 문서 분류, 개체명 인식, 사건 탐지 등 다양한 작업에서 유의미한 결과를 얻을 수 있었다.
사이버튠은 오픈소스로 공개돼 앞으로 AI를 이용해 사이버보안 문서를 분석하고 이를 통해 새로운 위협 발굴 및 효과적 대응을 고민하는 조직과 전문가에게 도움을 줄 것으로 기대된다. 또한, S2W의 자비스, 퀘이사 등 자사 서비스에도 적용하는 등 다양한 AI 관련 모듈에 확대 적용할 예정이다.
구체적으로 사이버튠을 통해 웹상의 수많은 사이버 보안 문서를 실시간으로 인코딩해 벡터DB에 저장한다. 사용자 질문이 주어지면 검색증강생성(RAG) 방식으로 질문에 답이 될 수 있는 문서를 빠르게 검색 후 거대언어모델(LLM)을 통해 답변을 생성, 사용자에게 제공하는 식의 검색 기반 챗봇 서비스를 공개할 계획이다.
S2W 서상덕 대표는 “사이버튠은 보안 위협을 발견하는 것을 넘어 실질적인 해결 솔루션까지 제시할 수 있는 강력한 보안 기술로 S2W가 글로벌 데이터 인텔리전스 기업으로 고속 성장하는 핵심 동력이 될 것”이라며 “앞으로도 보안 특화 AI 언어모델 분야에서 독보적 기술 경쟁력을 유지해 나갈 것”이라고 전했다.
한편, S2W는 최근 AI 및 보안 전문 데이터 인텔리전스 기업으로서의 비전을 발표해 국내외 시장에서 이목을 모은 바 있다.
[박은주 기자(boan5@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박은주기자 기사보기
[2024-09-26] 
.jpg)
