.jpg)
카이스트 사이버보안연구센터-보안뉴스, 안티바이러스 기능 및 성능 분석
총 58개 평가기준, 7개 시나리오 및 21개의 성능 테스트로 결과 도출
국내에서 사용되는 안티바이러스 성능 테스트, 1년마다 꾸준히 진행 예정
[보안뉴스 김영명 기자] 흔히 ‘바이러스 검사 소프트웨어’라고도 불리는 ‘안티바이러스(Antivirus)’는 악성 소프트웨어를 찾아 제거하는 기능을 갖춘 컴퓨터 프로그램을 말한다. 국내에서는 안철수연구소(현 ‘안랩’)의 ‘V3’를 계기로 ‘컴퓨터 백신’이라는 명칭이 보편화됐다.
안티바이러스는 바이러스가 갖는 특징이나 행위 정보(시그니처)를 기반으로 바이러스를 식별하고 탐지한다. 과거에는 바이러스(virus), 스파이웨어(spyware), 애드웨어(adware) 등 악성코드 유형과 특성에 따라 특화된 제품들이 많이 출시됐다. 하지만 시간이 흐를수록 악성코드가 지능화·정교화되면서 다양한 악성행위에 종합적으로 특화된 제품이 무의미해졌다. 최근에는 악성코드 유형에 특화된 제품이 쇠퇴하고 통합 탐지하는 안티바이러스 제품들이 주목받고 있다.
안티바이러스가 중요한 핵심적인 이유는 끊임없이 증가하는 악성코드 때문이다. 독일의 IT보안 연구소인 ‘AV-TEST’의 발표에 따르면 지난해의 악성코드 발생 건수는 그 전년도 대비 약 14% 증가한 1억건 이상이라고 발표했다. 올해도 악성코드의 증가량을 가늠해 볼 때 전년과 비슷한 수준의 증가율을 보이거나 그 이상 증가할 것으로 예상되는 등 악성코드의 위협은 날로 커지고 있는 것을 알 수 있다.
안티바이러스 탐지, 시그니처 및 행위분석 기반으로 분류
안티바이러스의 탐지 방식은 정통적으로 크게 ‘시그니처 기반’과 ‘행위분석 기반’으로 나눌 수 있다. 안티바이러스의 탐지 정확도나 분석의 효과성을 높이기 위해서는 기존 두 가지 탐지 방식과 더불어 휴리스틱과 기계학습을 적용하고 있다.
‘시그니처 기반’은 알려진 공격의 패턴을 저장하고 비교해 악성코드를 탐지하는 것을 말하며, ‘행위분석 기반’은 시스템 변화 유무에 따라 판단해 시스템 모니터링을 통해 공격 패턴을 탐지하는 것을 뜻한다.
‘휴리스틱 기반’은 악성코드의 특징을 분석해 프로파일링한 정보를 바탕으로 유사도를 기반해 탐지하는 것을, ‘기계학습 기반’은 악성코드에서 수집 및 분석한 Feature 정보를 바탕으로 학습된 모델을 이용한 탐지방법을 의미한다.
특히, 최근에는 악성코드가 지능화·고도화되면서 한 가지 탐지 방식만을 기반으로 하는 안티바이러스 엔진은 거의 없다. 다양한 분석 및 탐지 방식을 융합해 탐지의 정확성을 향상하려는 노력을 많이 하고 있는 추세다.
하지만 이렇게 다양한 탐지 방식들을 적용하게 되면, 안티바이러스의 한계점이 발생하게 된다. 통상적으로 안티바이러스 제조사는 신규 악성코드가 출현하면 보안전문가들에 의해 수기 분석을 진행하고 악성코드를 탐지할 수 있는 시그니처 또는 탐지 모델을 만들어 빠르게 안티바이러스 엔진을 업데이트하게 된다. 이 과정에서 아무래도 사람이 직접 수작업으로 신규 악성코드를 분석하기 때문에 새로운 악성코드의 출현 속도를 따라잡기에 역부족일 뿐만 아니라 지능화 및 정교화된 안티바이러스 우회 기술과 분석(역공학)을 방해하기 위한 난독화·암호화 기술(안티 리버싱)이 적용돼 대응 시점이 점점 느려지는 문제가 발생한다.
또한, 안티바이러스의 한계점 중 가장 치명적이라고도 할 수 있는 오탐(오진) 문제가 있다. 일부 악성코드의 패턴(시그니처)과 정상 프로그램의 패턴을 비교해보면 매우 유사해 탐지에 어려움이 있고, 정상 프로그램을 악성코드로 오탐(오진)하는 사례도 종종 발생하고 있다.
몇 가지 오탐(오진)의 사례를 들어보면, △2008년 어베스트(Avast)가 네이트온과 기타 프로그램을 악성코드로 오진했으며 △2011년에는 안랩 V3 Lite의 오진으로 마이크로소프트 윈도 중요 파일이 삭제돼 부팅이 불가능한 일이 발생했다. 이어 △2017년 어베스트(Avast)가 시스템 파일이 포함된 대량의 정상 파일을 악성코드로 오진하는 일이 있었고 △2022년 소포스(Sophos)의 안티바이러스 제품이 윈도 11과 충돌을 일으켜 블루스크린이 발생했으며 △2022년 8월 이스트시큐리티 알약(Alyac)의 랜섬웨어 오진 사건도 있었다.
이에 카이스트 사이버보안연구센터(CSRC) 안티바이러스 시험분석 연구팀은 이러한 바이러스 백신의 한계점을 기반으로 테스트 시나리오를 만들고, 안티바이러스의 기능과 성능을 평가했다.
우리는 왜 안티바이러스의 기능 및 성능을 평가하려고 할까
미국, 독일, 영국의 민간 기업에서는 안티바이러스의 인증제도를 시행하고 있다. 해당 인증제도는 모두 국외 인증기관이라는 특징이 있으며, 국내 사용자의 PC 환경을 고려하지 않는 부분과 국내에 주로 유포되는 악성코드인 HWP 문서형 악성코드 또는 여러 타입의 문서형 악성코드에 대한 탐지 평가가 미흡한 부분이 있다. 따라서 이러한 미흡한 부분을 반영해 국내 사용자 환경에 맞는 악성코드를 다수 포함해 안티바이러스 테스트를 수행했다.
특히, 국내 사용자가 자주 사용하는 카카오톡이나 팟플레이어와 같은 응용프로그램들을 설치하고, 한글 문서형(HWP) 악성코드와 같은 실제 정부기관과 자체 크롤링 시스템을 통해 실제로 유입된 악성코드를 기능 및 성능 평가에 활용했다. 또한, USB 플래시 드라이브, 대량의 악성코드, 최근 수집된 악성코드 등 기존 인증기관에서 진행하지 않는 테스트 방식을 도입했다.
기능 및 성능 평가에 대상이 될 안티바이러스의 선택 기준은 △(기준1) 국내 및 국외 시장 점유율이 높은 안티바이러스 기준으로 선정 △(기준2) 기준1에서 안티바이러스 엔진별 고유한 제품 △(기준3) 마이크로소프트 윈도 운영체제에 설치가 가능한 제품 △(기준4) 비교 다양성을 위해 무료 안티바이러스 ClamWin, Windows Defender 포함 등 4가지를 꼽았다.
이와 같은 4가지의 선택 기준을 통해 △V3 △알약 △Nod32 △ClamWin △Avast △Norton △McAfee △Microsoft Defender △Kaspersky △TrendMicro 등 총 10개의 안티바이러스를 선정했다. 이번 안티바이러스 기능 및 성능 평가에 사용한 악성코드는 연구 목적으로 바이러스토탈(VirusTotal)에서 제공된 대량의 악성코드, 정부기관 및 자체 크롤링 시스템에서 유입된 악성코드, MalShare, VirusShare와 같은 악성코드 DB 사이트에서 수집한 악성코드, 그리고 마지막으로 국내 사이버 보안기업 엔키(ENKY)에서 제공한 분석이 완료된 악성코드를 종합해 유형, 출현시기, 특징 등을 고려해 랜덤으로 선별했다. 또한, 평가 시나리오에 따라 다음과 같이 총 6개의 악성코드 샘플로 구성해 각 시나리오에 맞는 샘플을 사용했다.
악성코드 샘플은 △(샘플1) Exe, pdf, hwp 등 확장자별 수집된 악성코드 100개 △(샘플2) 랜덤 샘플링해 선정한 대량의 악성코드 2만330개 △(샘플3) 정부기관 및 자체 크롤링 시스템에서 최근 3개월 내 수집된 악성코드 151개 △(샘플4) 보안 기업 ENKI 및 자체 분석한 악성코드 6,363개 △(샘플5) 상용 패킹도구로 패킹된 악성코드 50개 △(샘플6) 악성 행위를 하는 실행 가능한 악성코드 25개 등이다.
테스트베드 구축은 보이는 2차 피해를 방지하고자 방화벽 2개를 구축해 내·외부를 완벽히 분리했으며, 방화벽 내 네트워크 안에는 테스트 로그가 저장되는 역할과 컨트롤러 역할을 하는 서버, 각 안티바이러스가 설치된 10개의 PC를 구축했다. 기능 및 성능 평가에 사용된 테스트 PC는 모두 같은 스펙의 하드웨어와 OS를 사용했고, 카카오톡·알집·문서편집 등 국내 사용자가 많이 사용하는 응용프로그램을 설치해 실제 사용자 PC와 최대한 비슷하게 구성했다.
테스트베드는 사람의 개입을 최소화하기 위해 시나리오별 행위를 수행할 수 있는 명령 수행 소프트웨어(Controller/Agent)를 개발해 적용했다. Controller와 Agent를 이용해 악성코드 다운로드, 실행, 압축해제, 재부팅 등 PC 10대를 대상으로 동시에 테스트를 진행할 수 있으며, 각 PC가 수행한 명령어와 전송받은 파일에 대한 테스트 로그를 DB에 저장할 수 있다.
안티바이러스의 탐지 성능과 기능 평가 위한 평가기준 수립 및 주요 시험
안티바이러스의 기능 및 성능 테스트를 위해 총 58개의 평가 기준을 수립했다. 이 기준은 국내 ‘소프트웨어 기술성 평가 지침’과 국외 해외 안티바이러스 인증기관의 평가 항목을 참고했다. 총 7개의 시나리오를 바탕으로 21개의 성능 테스트를 수행했으며, 탐지 정확도 및 검증을 위해 보안기업 엔키에서 제공한, 분석이 완료된 악성코드를 활용했다.
안티바이러스의 주요 평가 항목이며, 정량적 평가에 사용된 시나리오는 총 7개로 △테스트 1) 바이러스 토탈에서 악성이라고 판단한 악성코드의 실시간 탐지 정확도(확장자 분류) △테스트 2) 악성행위를 하는 악성코드 실행을 통한 실시간 탐지 △테스트 3) 대량 악성코드가 담긴 USB 플래시 드라이브를 PC에 연결하는 실시간 탐지 △테스트 4) 대량 악성코드가 담긴 압축 파일을 해제하는 실시간 탐지 정확도 △테스트 5) 3개월 이내 발생한 최신 악성코드의 실시간 탐지 정확도 △테스트 6) 자체 분석이 완료된 악성코드에 대한 실시간 탐지 정확도 △테스트 7) 상용 패킹 도구를 활용한 패킹 된 악성코드에 대한 실시간 탐지 정확도 등이다.
[테스트 1] 바이러스 토탈에서 악성이라고 판단한 악성코드 실시간 탐지 정확도
확장자별 기본적인 악성코드 실시간 탐지 기능 성능 평가 테스트이며, 6개 타입별(exe 17개, xlsx 17개, pdf 17개, pptx 16개, hwp 17개, docx 16개), 총 100개의 악성코드를 테스트하는 기본 테스트다. 테스트 방법은 악성코드를 실행하지 않고 100개의 악성코드를 Agent와 Controller를 통해 PC에 전송한 다음, 전송된 악성코드를 얼마나 잘 탐지하는지를 테스트했다. 탐지 결과 중 가장 정확도가 높았던 확장자의 악성코드 유형은 exe와 pdf 파일이었다.
[테스트 2] 악성행위를 하는 악성코드 실행을 통한 실시간 탐지 정확도
악성코드를 전송하지 않고 악성 행위(다운로드, 생성 등)를 하는 악성코드를 직접 실행해 악성코드의 실시간 탐지 성능을 테스트하는 실험이다. 총 25개의 악성코드를 예외 폴더에 넣고 악성코드 1개씩 실행한 후 탐지 결과를 확인하는 방식으로 테스트를 진행했다.
[테스트 3] 대량의 악성코드가 담긴 USB 플래시 드라이브의 물리적인 연결을 통한 실시간 탐지 정확도
총 2만330개의 대량의 악성코드가 담긴 USB 플래시 드라이브를 사전에 준비하고 PC에 물리적으로 연결해 악성코드를 탐지하는 테스트다. 사용자에게 검사 여부를 물어보거나 버튼을 클릭해 검사를 해야 하는 안티바이러스 제품이 있었다.
[테스트 4] 대량의 악성코드가 담긴 압축 파일 해제를 통한 실시간 탐지 정확도
세 번째 실험과 동일한 악성코드 샘플 2만330개를 사용했다. 세 번째 실험이 USB 플래시 드라이브를 이용해 탐지 정확도를 측정한 실험이라면, 네 번째 실험은 사전에 악성코드 압축파일(2만330개)를 예외 폴더에 저장하고 Controller로 특정 폴더에 압축을 해제해 탐지하는 테스트다. 압축 해제 시간이 소요돼 압축 해제가 끝나고 각 안티바이러스의 탐지 숫자가 멈출 때까지 대기한 뒤 탐지 결과를 확인했다.
특이하게 똑같은 악성코드 샘플이었지만, 테스트 3과 테스트 4의 정확도가 확연하게 차이가 있음을 알 수 있었는데, 이는 정밀검사(실험 3, 매체 연결시 정밀검사 수행)와 실시간 검사의 차이로 추정된다.
[테스트 5] 3개월 이내 수집된 최신 악성코드 실시간 탐지 정확도
해당 실험은 3개월 이내 정부기관 및 자체 크롤링 시스템으로 수집된 최근 발생한 악성코드 151개의 탐지 테스트다. 수집된 악성코드는 알려지지 않거나 혹은 최근 국내외에 발생한 악성코드의 탐지 정확도를 확인할 수 있는 실험이다. 방법은 첫 번째 실험과 동일하게 Controller와 Agent를 이용해 151개의 악성코드를 전송해 탐지하는 테스트를 진행했다.
[테스트 6] 자체 분석이 완료된 악성코드에 대한 실시간 탐지 정확도
국내 보안기업 엔키와 함께 완벽하게 분석된 악성코드 6,363개의 샘플을 확보했으며, 이를 통해 실시간 탐지 정확도를 실험했다. 실험에 사용된 악성코드 샘플은 문서형 악성코드가 약 80% 이상으로 구성돼 있다는 특징이 있다.
[테스트 7] 상용 패킹 도구를 활용해 패킹된 악성코드에 대한 실시간 탐지 정확도
상용 패킹 도구인 Themida를 이용해 패킹된 악성코드의 탐지 정확도를 확인하는 실험이다. 패킹 도구인 Themida의 특성상 실행 파일만 가능해 실행형 악성코드 50개를 패킹해 테스트 샘플로 사용했다. Agent와 Controller를 이용해 PC에 전송시켜 테스트를 진행했다.
카이스트 CSRC 측은 사이버 위협으로부터 PC와 소중한 디지털 자산을 지키기 위해서는 사용자 스스로가 PC 및 사용 환경에 맞는 안티바이러스를 선택해 설치하고, 주기적인 탐지 DB 업데이트와 바이러스 진단을 통해 사이버 위협을 줄이는 것이 무엇보다 중요하다고 밝혔다.
이번 테스트를 주도한 카이스트 사이버보안연구센터(CSRC) 안티바이러스 시험분석 연구팀 신강식 연구원은 이번 성능 평가를 통해 “악성코드를 잘 탐지하는 것이 안티바이러스의 숙명이겠지만, 제품마다 어떠한 방식으로 탐지하는지, 네트워크·파일형태·이벤트·행위·매체·저장 장소 등 탐지 대상의 우선순위에 따라 제품의 기능 및 성능이 다소 차이가 났기 때문에 ‘최고의 안티바이러스는 이것’이라고 꼽을 수는 없었다”고 설명했다.
신강식 연구원은 안티바이러스의 한계점에 대해서도 “안티바이러스 엔진의 업데이트가 신규 악성코드의 생성 속도를 따라잡기에는 역부족이고, 지능화되고 정교화되는 안티바이러스 우회기술과 분석을 방해하기 위한 난독화 및 암호화 기술로 대응이 늦어진다”며 “오탐과 함께 일부 악성코드의 패턴과 정상 프로그램의 패턴이 아주 유사한 점도 바이러스의 탐지를 어렵게 하는 문제로 꼽히고 있다”고 밝혔다. 이어 “이번 테스트를 시작으로 앞으로 1년마다 국내에서 사용되는 안티바이러스 테스트를 꾸준히 진행할 예정”이라고 말했다.
[김영명 기자(boan@boannews.com)]
총 58개 평가기준, 7개 시나리오 및 21개의 성능 테스트로 결과 도출
국내에서 사용되는 안티바이러스 성능 테스트, 1년마다 꾸준히 진행 예정
[보안뉴스 김영명 기자] 흔히 ‘바이러스 검사 소프트웨어’라고도 불리는 ‘안티바이러스(Antivirus)’는 악성 소프트웨어를 찾아 제거하는 기능을 갖춘 컴퓨터 프로그램을 말한다. 국내에서는 안철수연구소(현 ‘안랩’)의 ‘V3’를 계기로 ‘컴퓨터 백신’이라는 명칭이 보편화됐다.
[이미지=utoimage]
안티바이러스는 바이러스가 갖는 특징이나 행위 정보(시그니처)를 기반으로 바이러스를 식별하고 탐지한다. 과거에는 바이러스(virus), 스파이웨어(spyware), 애드웨어(adware) 등 악성코드 유형과 특성에 따라 특화된 제품들이 많이 출시됐다. 하지만 시간이 흐를수록 악성코드가 지능화·정교화되면서 다양한 악성행위에 종합적으로 특화된 제품이 무의미해졌다. 최근에는 악성코드 유형에 특화된 제품이 쇠퇴하고 통합 탐지하는 안티바이러스 제품들이 주목받고 있다.
안티바이러스가 중요한 핵심적인 이유는 끊임없이 증가하는 악성코드 때문이다. 독일의 IT보안 연구소인 ‘AV-TEST’의 발표에 따르면 지난해의 악성코드 발생 건수는 그 전년도 대비 약 14% 증가한 1억건 이상이라고 발표했다. 올해도 악성코드의 증가량을 가늠해 볼 때 전년과 비슷한 수준의 증가율을 보이거나 그 이상 증가할 것으로 예상되는 등 악성코드의 위협은 날로 커지고 있는 것을 알 수 있다.
▲최근 16년간 악성코드의 증가 추세[자료=AV-TEST]
안티바이러스 탐지, 시그니처 및 행위분석 기반으로 분류
안티바이러스의 탐지 방식은 정통적으로 크게 ‘시그니처 기반’과 ‘행위분석 기반’으로 나눌 수 있다. 안티바이러스의 탐지 정확도나 분석의 효과성을 높이기 위해서는 기존 두 가지 탐지 방식과 더불어 휴리스틱과 기계학습을 적용하고 있다.
‘시그니처 기반’은 알려진 공격의 패턴을 저장하고 비교해 악성코드를 탐지하는 것을 말하며, ‘행위분석 기반’은 시스템 변화 유무에 따라 판단해 시스템 모니터링을 통해 공격 패턴을 탐지하는 것을 뜻한다.
‘휴리스틱 기반’은 악성코드의 특징을 분석해 프로파일링한 정보를 바탕으로 유사도를 기반해 탐지하는 것을, ‘기계학습 기반’은 악성코드에서 수집 및 분석한 Feature 정보를 바탕으로 학습된 모델을 이용한 탐지방법을 의미한다.
특히, 최근에는 악성코드가 지능화·고도화되면서 한 가지 탐지 방식만을 기반으로 하는 안티바이러스 엔진은 거의 없다. 다양한 분석 및 탐지 방식을 융합해 탐지의 정확성을 향상하려는 노력을 많이 하고 있는 추세다.
▲악성코드의 탐지(분석) 방법[자료=카이스트 CSRC]
하지만 이렇게 다양한 탐지 방식들을 적용하게 되면, 안티바이러스의 한계점이 발생하게 된다. 통상적으로 안티바이러스 제조사는 신규 악성코드가 출현하면 보안전문가들에 의해 수기 분석을 진행하고 악성코드를 탐지할 수 있는 시그니처 또는 탐지 모델을 만들어 빠르게 안티바이러스 엔진을 업데이트하게 된다. 이 과정에서 아무래도 사람이 직접 수작업으로 신규 악성코드를 분석하기 때문에 새로운 악성코드의 출현 속도를 따라잡기에 역부족일 뿐만 아니라 지능화 및 정교화된 안티바이러스 우회 기술과 분석(역공학)을 방해하기 위한 난독화·암호화 기술(안티 리버싱)이 적용돼 대응 시점이 점점 느려지는 문제가 발생한다.
또한, 안티바이러스의 한계점 중 가장 치명적이라고도 할 수 있는 오탐(오진) 문제가 있다. 일부 악성코드의 패턴(시그니처)과 정상 프로그램의 패턴을 비교해보면 매우 유사해 탐지에 어려움이 있고, 정상 프로그램을 악성코드로 오탐(오진)하는 사례도 종종 발생하고 있다.
몇 가지 오탐(오진)의 사례를 들어보면, △2008년 어베스트(Avast)가 네이트온과 기타 프로그램을 악성코드로 오진했으며 △2011년에는 안랩 V3 Lite의 오진으로 마이크로소프트 윈도 중요 파일이 삭제돼 부팅이 불가능한 일이 발생했다. 이어 △2017년 어베스트(Avast)가 시스템 파일이 포함된 대량의 정상 파일을 악성코드로 오진하는 일이 있었고 △2022년 소포스(Sophos)의 안티바이러스 제품이 윈도 11과 충돌을 일으켜 블루스크린이 발생했으며 △2022년 8월 이스트시큐리티 알약(Alyac)의 랜섬웨어 오진 사건도 있었다.
이에 카이스트 사이버보안연구센터(CSRC) 안티바이러스 시험분석 연구팀은 이러한 바이러스 백신의 한계점을 기반으로 테스트 시나리오를 만들고, 안티바이러스의 기능과 성능을 평가했다.
우리는 왜 안티바이러스의 기능 및 성능을 평가하려고 할까
미국, 독일, 영국의 민간 기업에서는 안티바이러스의 인증제도를 시행하고 있다. 해당 인증제도는 모두 국외 인증기관이라는 특징이 있으며, 국내 사용자의 PC 환경을 고려하지 않는 부분과 국내에 주로 유포되는 악성코드인 HWP 문서형 악성코드 또는 여러 타입의 문서형 악성코드에 대한 탐지 평가가 미흡한 부분이 있다. 따라서 이러한 미흡한 부분을 반영해 국내 사용자 환경에 맞는 악성코드를 다수 포함해 안티바이러스 테스트를 수행했다.
특히, 국내 사용자가 자주 사용하는 카카오톡이나 팟플레이어와 같은 응용프로그램들을 설치하고, 한글 문서형(HWP) 악성코드와 같은 실제 정부기관과 자체 크롤링 시스템을 통해 실제로 유입된 악성코드를 기능 및 성능 평가에 활용했다. 또한, USB 플래시 드라이브, 대량의 악성코드, 최근 수집된 악성코드 등 기존 인증기관에서 진행하지 않는 테스트 방식을 도입했다.
▲다른 안티바이러스 평가 환경[자료=카이스트 CSRC]
기능 및 성능 평가에 대상이 될 안티바이러스의 선택 기준은 △(기준1) 국내 및 국외 시장 점유율이 높은 안티바이러스 기준으로 선정 △(기준2) 기준1에서 안티바이러스 엔진별 고유한 제품 △(기준3) 마이크로소프트 윈도 운영체제에 설치가 가능한 제품 △(기준4) 비교 다양성을 위해 무료 안티바이러스 ClamWin, Windows Defender 포함 등 4가지를 꼽았다.
이와 같은 4가지의 선택 기준을 통해 △V3 △알약 △Nod32 △ClamWin △Avast △Norton △McAfee △Microsoft Defender △Kaspersky △TrendMicro 등 총 10개의 안티바이러스를 선정했다. 이번 안티바이러스 기능 및 성능 평가에 사용한 악성코드는 연구 목적으로 바이러스토탈(VirusTotal)에서 제공된 대량의 악성코드, 정부기관 및 자체 크롤링 시스템에서 유입된 악성코드, MalShare, VirusShare와 같은 악성코드 DB 사이트에서 수집한 악성코드, 그리고 마지막으로 국내 사이버 보안기업 엔키(ENKY)에서 제공한 분석이 완료된 악성코드를 종합해 유형, 출현시기, 특징 등을 고려해 랜덤으로 선별했다. 또한, 평가 시나리오에 따라 다음과 같이 총 6개의 악성코드 샘플로 구성해 각 시나리오에 맞는 샘플을 사용했다.
악성코드 샘플은 △(샘플1) Exe, pdf, hwp 등 확장자별 수집된 악성코드 100개 △(샘플2) 랜덤 샘플링해 선정한 대량의 악성코드 2만330개 △(샘플3) 정부기관 및 자체 크롤링 시스템에서 최근 3개월 내 수집된 악성코드 151개 △(샘플4) 보안 기업 ENKI 및 자체 분석한 악성코드 6,363개 △(샘플5) 상용 패킹도구로 패킹된 악성코드 50개 △(샘플6) 악성 행위를 하는 실행 가능한 악성코드 25개 등이다.
▲테스트 베드 환경 구축, 시나리오별 테스트 도구 및 시스템 개발(위부터)[자료=카이스트 CSRC]
테스트베드 구축은 보이는 2차 피해를 방지하고자 방화벽 2개를 구축해 내·외부를 완벽히 분리했으며, 방화벽 내 네트워크 안에는 테스트 로그가 저장되는 역할과 컨트롤러 역할을 하는 서버, 각 안티바이러스가 설치된 10개의 PC를 구축했다. 기능 및 성능 평가에 사용된 테스트 PC는 모두 같은 스펙의 하드웨어와 OS를 사용했고, 카카오톡·알집·문서편집 등 국내 사용자가 많이 사용하는 응용프로그램을 설치해 실제 사용자 PC와 최대한 비슷하게 구성했다.
테스트베드는 사람의 개입을 최소화하기 위해 시나리오별 행위를 수행할 수 있는 명령 수행 소프트웨어(Controller/Agent)를 개발해 적용했다. Controller와 Agent를 이용해 악성코드 다운로드, 실행, 압축해제, 재부팅 등 PC 10대를 대상으로 동시에 테스트를 진행할 수 있으며, 각 PC가 수행한 명령어와 전송받은 파일에 대한 테스트 로그를 DB에 저장할 수 있다.
안티바이러스의 탐지 성능과 기능 평가 위한 평가기준 수립 및 주요 시험
안티바이러스의 기능 및 성능 테스트를 위해 총 58개의 평가 기준을 수립했다. 이 기준은 국내 ‘소프트웨어 기술성 평가 지침’과 국외 해외 안티바이러스 인증기관의 평가 항목을 참고했다. 총 7개의 시나리오를 바탕으로 21개의 성능 테스트를 수행했으며, 탐지 정확도 및 검증을 위해 보안기업 엔키에서 제공한, 분석이 완료된 악성코드를 활용했다.
▲안티바이러스 성능 및 기능 평가 항목[자료=카이스트 CSRC]
안티바이러스의 주요 평가 항목이며, 정량적 평가에 사용된 시나리오는 총 7개로 △테스트 1) 바이러스 토탈에서 악성이라고 판단한 악성코드의 실시간 탐지 정확도(확장자 분류) △테스트 2) 악성행위를 하는 악성코드 실행을 통한 실시간 탐지 △테스트 3) 대량 악성코드가 담긴 USB 플래시 드라이브를 PC에 연결하는 실시간 탐지 △테스트 4) 대량 악성코드가 담긴 압축 파일을 해제하는 실시간 탐지 정확도 △테스트 5) 3개월 이내 발생한 최신 악성코드의 실시간 탐지 정확도 △테스트 6) 자체 분석이 완료된 악성코드에 대한 실시간 탐지 정확도 △테스트 7) 상용 패킹 도구를 활용한 패킹 된 악성코드에 대한 실시간 탐지 정확도 등이다.
[테스트 1] 바이러스 토탈에서 악성이라고 판단한 악성코드 실시간 탐지 정확도
확장자별 기본적인 악성코드 실시간 탐지 기능 성능 평가 테스트이며, 6개 타입별(exe 17개, xlsx 17개, pdf 17개, pptx 16개, hwp 17개, docx 16개), 총 100개의 악성코드를 테스트하는 기본 테스트다. 테스트 방법은 악성코드를 실행하지 않고 100개의 악성코드를 Agent와 Controller를 통해 PC에 전송한 다음, 전송된 악성코드를 얼마나 잘 탐지하는지를 테스트했다. 탐지 결과 중 가장 정확도가 높았던 확장자의 악성코드 유형은 exe와 pdf 파일이었다.
[테스트 2] 악성행위를 하는 악성코드 실행을 통한 실시간 탐지 정확도
악성코드를 전송하지 않고 악성 행위(다운로드, 생성 등)를 하는 악성코드를 직접 실행해 악성코드의 실시간 탐지 성능을 테스트하는 실험이다. 총 25개의 악성코드를 예외 폴더에 넣고 악성코드 1개씩 실행한 후 탐지 결과를 확인하는 방식으로 테스트를 진행했다.
[테스트 3] 대량의 악성코드가 담긴 USB 플래시 드라이브의 물리적인 연결을 통한 실시간 탐지 정확도
총 2만330개의 대량의 악성코드가 담긴 USB 플래시 드라이브를 사전에 준비하고 PC에 물리적으로 연결해 악성코드를 탐지하는 테스트다. 사용자에게 검사 여부를 물어보거나 버튼을 클릭해 검사를 해야 하는 안티바이러스 제품이 있었다.
[테스트 4] 대량의 악성코드가 담긴 압축 파일 해제를 통한 실시간 탐지 정확도
세 번째 실험과 동일한 악성코드 샘플 2만330개를 사용했다. 세 번째 실험이 USB 플래시 드라이브를 이용해 탐지 정확도를 측정한 실험이라면, 네 번째 실험은 사전에 악성코드 압축파일(2만330개)를 예외 폴더에 저장하고 Controller로 특정 폴더에 압축을 해제해 탐지하는 테스트다. 압축 해제 시간이 소요돼 압축 해제가 끝나고 각 안티바이러스의 탐지 숫자가 멈출 때까지 대기한 뒤 탐지 결과를 확인했다.
특이하게 똑같은 악성코드 샘플이었지만, 테스트 3과 테스트 4의 정확도가 확연하게 차이가 있음을 알 수 있었는데, 이는 정밀검사(실험 3, 매체 연결시 정밀검사 수행)와 실시간 검사의 차이로 추정된다.
[테스트 5] 3개월 이내 수집된 최신 악성코드 실시간 탐지 정확도
해당 실험은 3개월 이내 정부기관 및 자체 크롤링 시스템으로 수집된 최근 발생한 악성코드 151개의 탐지 테스트다. 수집된 악성코드는 알려지지 않거나 혹은 최근 국내외에 발생한 악성코드의 탐지 정확도를 확인할 수 있는 실험이다. 방법은 첫 번째 실험과 동일하게 Controller와 Agent를 이용해 151개의 악성코드를 전송해 탐지하는 테스트를 진행했다.
[테스트 6] 자체 분석이 완료된 악성코드에 대한 실시간 탐지 정확도
국내 보안기업 엔키와 함께 완벽하게 분석된 악성코드 6,363개의 샘플을 확보했으며, 이를 통해 실시간 탐지 정확도를 실험했다. 실험에 사용된 악성코드 샘플은 문서형 악성코드가 약 80% 이상으로 구성돼 있다는 특징이 있다.
[테스트 7] 상용 패킹 도구를 활용해 패킹된 악성코드에 대한 실시간 탐지 정확도
상용 패킹 도구인 Themida를 이용해 패킹된 악성코드의 탐지 정확도를 확인하는 실험이다. 패킹 도구인 Themida의 특성상 실행 파일만 가능해 실행형 악성코드 50개를 패킹해 테스트 샘플로 사용했다. Agent와 Controller를 이용해 PC에 전송시켜 테스트를 진행했다.
카이스트 CSRC 측은 사이버 위협으로부터 PC와 소중한 디지털 자산을 지키기 위해서는 사용자 스스로가 PC 및 사용 환경에 맞는 안티바이러스를 선택해 설치하고, 주기적인 탐지 DB 업데이트와 바이러스 진단을 통해 사이버 위협을 줄이는 것이 무엇보다 중요하다고 밝혔다.
▲발표를 하고 있는 카이스트 사이버보안연구센터(CSRC) 신강식 연구원[사진=보안뉴스]
이번 테스트를 주도한 카이스트 사이버보안연구센터(CSRC) 안티바이러스 시험분석 연구팀 신강식 연구원은 이번 성능 평가를 통해 “악성코드를 잘 탐지하는 것이 안티바이러스의 숙명이겠지만, 제품마다 어떠한 방식으로 탐지하는지, 네트워크·파일형태·이벤트·행위·매체·저장 장소 등 탐지 대상의 우선순위에 따라 제품의 기능 및 성능이 다소 차이가 났기 때문에 ‘최고의 안티바이러스는 이것’이라고 꼽을 수는 없었다”고 설명했다.
신강식 연구원은 안티바이러스의 한계점에 대해서도 “안티바이러스 엔진의 업데이트가 신규 악성코드의 생성 속도를 따라잡기에는 역부족이고, 지능화되고 정교화되는 안티바이러스 우회기술과 분석을 방해하기 위한 난독화 및 암호화 기술로 대응이 늦어진다”며 “오탐과 함께 일부 악성코드의 패턴과 정상 프로그램의 패턴이 아주 유사한 점도 바이러스의 탐지를 어렵게 하는 문제로 꼽히고 있다”고 밝혔다. 이어 “이번 테스트를 시작으로 앞으로 1년마다 국내에서 사용되는 안티바이러스 테스트를 꾸준히 진행할 예정”이라고 말했다.
[김영명 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김영명기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
