2016년 개최된 컴퓨터간 해킹 대회...모든 과정과 데이터 투명하게 공개해 후속 연구 독려
[보안뉴스= 차상길 KAIST 사이버보안연구센터 센터장] 미국 DARPA에서는 과학자들의 경쟁의식 고취를 통해 과학기술 발전을 장려하기 위한 다양한 대회를 개최합니다. 그 가장 대표적인 사례가 2004년, 2005년, 2007년도에 각각 개최되었던 ‘그랜드 챌린지’라 불리는 자율주행 자동차 대회입니다. 그 당시만 해도 자율주행 자동차는 상상 속의 기술에 가까웠지만, 약 15년이 지난 오늘날에는 그야말로 눈앞의 현실이 되었죠.
대부분의 DARPA 대회는 로봇 공학이나 기계공학에 관련된 대회가 많았습니다만, 사이버 분야의 대회가 한 번 있었습니다. 바로 2016년도에 개최된 ‘사이버 그랜드 챌린지’입니다. 이 대회를 한마디로 표현하자면, 컴퓨터간의 해킹대회라 할 수 있습니다. 사람이 전혀 개입하지 않은 상태에서 주어진 바이너리를 분석하고, 익스플로잇 코드를 만들어 상대 팀을 공격하고, 더 나아가 바이너리를 패치해 방어하는 전 과정이 모두 자동으로 이루어지는 대회입니다.
자동으로 익스플로잇이나 패치를 만들어내는 연구들은 이미 오래전부터 있었지만, 해당 분야 연구자들에게 사이버 그랜드 챌린지는 실로 엄청난 동기부여가 되었습니다. 대회 이후로 수많은 바이너리 분석 논문과 도구들이 쏟아져 나왔고, 그와 유사한 대회들도 우후죽순처럼 등장하기 시작했습니다. 경쟁이 갖는 순기능을 직접 목격할 수 있는 순간이었죠.
그런데 대개 사람들은 사이버 그랜드 챌린지에 사용된 기술 자체에만 주목하지, 그 대회를 어떻게 운영해야 하는지는 깊게 고민하지 않습니다. 대회 후 4년이 지난 지금도, 여전히 우리는 인공지능형 해킹대회의 운영이 얼마나 어려운지 잘 알지 못합니다.
먼저 채점에 대한 부분입니다. 사이버 그랜드 챌린지는 수백억의 예산이 투입된 대규모 대회였음에도 공정한 채점 기준을 만들기는 매우 어려웠습니다. 실제 패치 점수를 산정하는 기준 중에는 패치된 바이너리의 성능이 있었는데, 그 영향이 너무 크다 보니 패치를 아예 하지 않는 것이 오히려 효율적인 전략이 될 수도 있음이 UCSB팀의 사후 분석을 통해 알려지기도 했죠. 실제로 오늘날까지도 패치에 대한 점수를 공정하게 부여하는 방식은 풀지 못한 문제로 남아있습니다.
예를 들어 취약한 함수를 아무 동작도 하지 않고 리턴하게 패치한다고 가정해 봅시다. 이는 분명 잘못된 패치이지만, 취약점이 유발되지 않으므로 공격을 당하지는 않을 것입니다. 그러므로 패치의 유효성을 따지기 위해선 해당 프로그램이 정상적으로 작동하는지를 확인해야 합니다. 흔히 이를 위해서 바이너리의 다양한 행위를 유발할 수 있는 정상 입출력 값의 쌍을 저장해놓고 패치된 바이너리가 예상한 입출력 쌍을 정확히 반환하는지 확인하는 방식을 쓰는데, 이렇게 다양한 입력값(또는 테스트 케이스)을 생성하는 문제를 소프트웨어 공학에서는 ‘테스트 케이스 생성 문제’라 부릅니다. 그리고 이것은 당연히 풀리지 않은 문제입니다.
채점만큼 어려운 부분이 대회 방식에 대한 부분입니다. 방어를 위해 패치한 바이너리를 다른 팀이 보지 못하게 된다면, 패치 자체의 취약점, 즉 완전하지 못한 패치에 대한 공격을 유도할 수 없습니다. 반면, 패치한 바이너리를 모두에게 공개하는 방식이라면, 다른 팀이 패치한 바이너리를 손쉽게 가져다가 마치 자신이 패치한 것처럼 사용할 수도 있습니다. 그뿐 아니라, 남이 만든 바이너리를 사용할 수 있다는 점을 악용해, 패치에 고의로 악성코드를 주입하는 것 또한 가능해집니다. 이렇게 대회 운영 자체의 허점을 악용하는 사례는 해킹 대회에서 흔히 일어나며, 대회의 현실성을 유지함과 동시에 공정한 운영을 하는 것은 매우 어렵습니다.
하지만 이러한 문제들에도 불구하고 사이버 그랜드 챌린지가 우리에게 큰 의미를 주는 이유는 바로 대회의 모든 과정과 데이터를 투명하게 공개했다는 것입니다. 심지어 대회에 사용된 API와 관련 도구를 모두 공개해 더 깊은 후속 연구를 할 수 있는 하나의 큰 장을 마련한 셈이죠. 대회에 사용된 API는 정교하게 설계되었기 때문에 손쉽게 유사 대회를 구현할 수 있을 뿐 아니라, 대회에 실제 사용되었던 바이너리들은 다양한 취약점을 대표하기 때문에 소프트웨어 테스팅을 위한 연구 논문에서 자주 활용되는 하나의 벤치마크로 자리를 잡기도 하였습니다. 채점과 운영의 과정이 완벽할 수 없다면, 최소한 그 모든 과정을 투명하게 하라. 이것은 사이버 그랜드 챌린지가 우리에게 남긴 큰 교훈입니다.
우리나라에서도 사이버 분야에서의 유사한 대회들이 자주 열리고 있습니다. 하지만 아쉽게도 데이터와 채점 방식을 투명하게 공개하는 대회는 찾아보기 어렵습니다. 이는 후속 연구에 대한 가능성을 낮출 뿐 아니라, 대회의 의미를 스스로 낮추는 행위입니다. 투명한 경쟁은 과학자들의 창의력을 촉진하는 촉매제이지만, 불투명한 경쟁은 소모전에 불과하니까요. 앞으로 우리나라에도 심도 있는 사이버 경쟁의 장이 펼쳐지기를 기대해 봅니다.
[글_ 차상길 KAIST 사이버보안연구센터 센터장]
[보안뉴스= 차상길 KAIST 사이버보안연구센터 센터장] 미국 DARPA에서는 과학자들의 경쟁의식 고취를 통해 과학기술 발전을 장려하기 위한 다양한 대회를 개최합니다. 그 가장 대표적인 사례가 2004년, 2005년, 2007년도에 각각 개최되었던 ‘그랜드 챌린지’라 불리는 자율주행 자동차 대회입니다. 그 당시만 해도 자율주행 자동차는 상상 속의 기술에 가까웠지만, 약 15년이 지난 오늘날에는 그야말로 눈앞의 현실이 되었죠.
[이미지=utoimage]
대부분의 DARPA 대회는 로봇 공학이나 기계공학에 관련된 대회가 많았습니다만, 사이버 분야의 대회가 한 번 있었습니다. 바로 2016년도에 개최된 ‘사이버 그랜드 챌린지’입니다. 이 대회를 한마디로 표현하자면, 컴퓨터간의 해킹대회라 할 수 있습니다. 사람이 전혀 개입하지 않은 상태에서 주어진 바이너리를 분석하고, 익스플로잇 코드를 만들어 상대 팀을 공격하고, 더 나아가 바이너리를 패치해 방어하는 전 과정이 모두 자동으로 이루어지는 대회입니다.
자동으로 익스플로잇이나 패치를 만들어내는 연구들은 이미 오래전부터 있었지만, 해당 분야 연구자들에게 사이버 그랜드 챌린지는 실로 엄청난 동기부여가 되었습니다. 대회 이후로 수많은 바이너리 분석 논문과 도구들이 쏟아져 나왔고, 그와 유사한 대회들도 우후죽순처럼 등장하기 시작했습니다. 경쟁이 갖는 순기능을 직접 목격할 수 있는 순간이었죠.
그런데 대개 사람들은 사이버 그랜드 챌린지에 사용된 기술 자체에만 주목하지, 그 대회를 어떻게 운영해야 하는지는 깊게 고민하지 않습니다. 대회 후 4년이 지난 지금도, 여전히 우리는 인공지능형 해킹대회의 운영이 얼마나 어려운지 잘 알지 못합니다.
먼저 채점에 대한 부분입니다. 사이버 그랜드 챌린지는 수백억의 예산이 투입된 대규모 대회였음에도 공정한 채점 기준을 만들기는 매우 어려웠습니다. 실제 패치 점수를 산정하는 기준 중에는 패치된 바이너리의 성능이 있었는데, 그 영향이 너무 크다 보니 패치를 아예 하지 않는 것이 오히려 효율적인 전략이 될 수도 있음이 UCSB팀의 사후 분석을 통해 알려지기도 했죠. 실제로 오늘날까지도 패치에 대한 점수를 공정하게 부여하는 방식은 풀지 못한 문제로 남아있습니다.
예를 들어 취약한 함수를 아무 동작도 하지 않고 리턴하게 패치한다고 가정해 봅시다. 이는 분명 잘못된 패치이지만, 취약점이 유발되지 않으므로 공격을 당하지는 않을 것입니다. 그러므로 패치의 유효성을 따지기 위해선 해당 프로그램이 정상적으로 작동하는지를 확인해야 합니다. 흔히 이를 위해서 바이너리의 다양한 행위를 유발할 수 있는 정상 입출력 값의 쌍을 저장해놓고 패치된 바이너리가 예상한 입출력 쌍을 정확히 반환하는지 확인하는 방식을 쓰는데, 이렇게 다양한 입력값(또는 테스트 케이스)을 생성하는 문제를 소프트웨어 공학에서는 ‘테스트 케이스 생성 문제’라 부릅니다. 그리고 이것은 당연히 풀리지 않은 문제입니다.
채점만큼 어려운 부분이 대회 방식에 대한 부분입니다. 방어를 위해 패치한 바이너리를 다른 팀이 보지 못하게 된다면, 패치 자체의 취약점, 즉 완전하지 못한 패치에 대한 공격을 유도할 수 없습니다. 반면, 패치한 바이너리를 모두에게 공개하는 방식이라면, 다른 팀이 패치한 바이너리를 손쉽게 가져다가 마치 자신이 패치한 것처럼 사용할 수도 있습니다. 그뿐 아니라, 남이 만든 바이너리를 사용할 수 있다는 점을 악용해, 패치에 고의로 악성코드를 주입하는 것 또한 가능해집니다. 이렇게 대회 운영 자체의 허점을 악용하는 사례는 해킹 대회에서 흔히 일어나며, 대회의 현실성을 유지함과 동시에 공정한 운영을 하는 것은 매우 어렵습니다.
하지만 이러한 문제들에도 불구하고 사이버 그랜드 챌린지가 우리에게 큰 의미를 주는 이유는 바로 대회의 모든 과정과 데이터를 투명하게 공개했다는 것입니다. 심지어 대회에 사용된 API와 관련 도구를 모두 공개해 더 깊은 후속 연구를 할 수 있는 하나의 큰 장을 마련한 셈이죠. 대회에 사용된 API는 정교하게 설계되었기 때문에 손쉽게 유사 대회를 구현할 수 있을 뿐 아니라, 대회에 실제 사용되었던 바이너리들은 다양한 취약점을 대표하기 때문에 소프트웨어 테스팅을 위한 연구 논문에서 자주 활용되는 하나의 벤치마크로 자리를 잡기도 하였습니다. 채점과 운영의 과정이 완벽할 수 없다면, 최소한 그 모든 과정을 투명하게 하라. 이것은 사이버 그랜드 챌린지가 우리에게 남긴 큰 교훈입니다.
▲차상길 카이스트 사이버보안연구센터장[사진=KAIST CSRC]
우리나라에서도 사이버 분야에서의 유사한 대회들이 자주 열리고 있습니다. 하지만 아쉽게도 데이터와 채점 방식을 투명하게 공개하는 대회는 찾아보기 어렵습니다. 이는 후속 연구에 대한 가능성을 낮출 뿐 아니라, 대회의 의미를 스스로 낮추는 행위입니다. 투명한 경쟁은 과학자들의 창의력을 촉진하는 촉매제이지만, 불투명한 경쟁은 소모전에 불과하니까요. 앞으로 우리나라에도 심도 있는 사이버 경쟁의 장이 펼쳐지기를 기대해 봅니다.
[글_ 차상길 KAIST 사이버보안연구센터 센터장]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
원병철기자 기사보기
[2024-10-31] .jpg)
