.jpg)
.png)
‘타깃 식별→판단→공격’까지 AI가 처리하는 자동 살상 시스템 속속 개발돼
터키 카르게(Kargu-2), 이미 2020년에 자율살상무기 전쟁 수행 능력 ‘시연’
인간 승인 없이 AI의 민간인 오인 살상 가능성 상존...AI 통제권 강화해야
이재명 정부는 AI 정부를 자처한다. 이재명 대통령은 취임 전부터 AI 분야에 깊은 관심을 보였고 경제 재도약과 국가대전환의 계기를 AI를 통해 실현해보려는 의지를 강력하게 드러내고 있다. 이 대통령은 ‘AI 3대 강국 도약’을 기치로 내걸고 100조 원 규모의 인공지능 산업 투자를 선언했다. 대통령실에는 전담 AI미래기획수석실이 신설되었고, 대규모 언어모델 개발을 주도한 민간 기업 출신 인사들이 과학기술분야 관련 부처에 배치돼 기대를 모으고 있다. 하지만 이재명 정부의 이 화려한 AI 드라이브의 이면에는, 우리가 간과하고 있거나 아무도 이야기하지 않는 그림자가 있다. ‘사람과 보안’은 6주 동안 참여연대와 시민사회가 이재명 정부에 제안한 ‘AI 정책에 반드시 포함되어야 할 6대 제안’을 바탕으로 ‘이재명 정부 AI 전략을 다시 묻다’ 시리즈를 연재한다. [편집자주]
[보안뉴스 성기노 기자] 가장 최근의 전쟁인 우크라이나 전쟁을 보면 AI 기술이 더 이상 상상속의 전력이 아님을 알 수 있다. 우크라이나 전쟁은 AI 기술이 전장에 얼마나 깊숙이 침투했는지 보여주는 대표적인 사례다. 특히 ‘AI 자폭 드론’의 등장은 전투 양상에 큰 변화를 가져왔다.
이 전쟁에서 러시아가 사용하는 ‘란셋’(Lancet) 드론은 대표적인 AI 기반 자폭 드론으로 꼽힌다. 인간이 AI에 특정 타깃의 상세 정보를 프로그래밍만 해 놓으면 AI가 알아서 표적을 찾아다니는 것이다. 기존 ‘원격 타격’ 시스템이 인간이 추적 모니터링을 하면서 일일이 타깃을 지정했지만 이제는 드론이 인간의 작전 수행 범위를 대폭 줄여주었다.
대표적인 ‘원격 타격 시스템’으로는 ‘MQ-9 리퍼’(MQ-9 Reaper) 드론이나 ‘프레데터’(Predator) 드론 등이 있다. 이들은 중동전쟁, 아프가니스탄, 파키스탄, 예멘 등지에서 미군이 사용한 무인기를 말하는데 지상에서 인간 조종사가 실시간 영상 정보를 확인하며 타깃을 식별하고 ‘인간의 승인’을 거쳐 정밀 타격을 최종적으로 수행한다.
여기서 중요한 개념은, 원격 타격 시스템이 ‘인간의 통제’라는 조건 위에서만 자동 살상을 한다는 것이다. 하지만 여기에서 문제가 발생한다. 기존의 ‘반자동 살상 시스템’에서 AI가 인간이 했던 최종 살상 승인까지 스스로 내리게 되는 ‘완전 자동 시스템’으로 진화하고 있다는 것이다.
현재의 AI 기반 자동화 살상 시스템은 인간의 관여 없이 ‘타깃 식별→판단→공격’까지 AI가 처리하려는 단계를 말한다. 이를 LAWS (자율살상무기:Lethal Autonomous Weapon Systems)라고 부른다. 러시아의 란셋은 엄밀히 말하면 AI 드론이 모든 살상 과정을 자율적으로 판단하지는 않는 일종의 ‘반자동 살상 시스템’이다.
하지만 인류는 이미 완전 자동의 자율살상무기인 터키의 카르게(Kargu-2)의 전쟁 수행을 경험한 바 있다. 지난 2020년 리비아 내전에서 Kargu가 자율적으로 공격했다는 유엔 보고서가 있다. 이는 인간이 개입하지 않고도 자율적으로 목표를 식별하고 제거한 사례로 언급된다.
당시 보고서는 “치명적인 자율 무기 시스템은 운용자와 탄약 사이에 데이터 연결이 필요 없이 목표물을 공격하도록 프로그램되었다”라고 언급했다. 그러나 인간의 어떤 개입도 없이 최종 살상 결정에서 ‘완전 자율적’인 공격으로 인해 인간의 사망이 확인된 사례라고 확정적으로 단정하기는 어렵다는 반론도 제기됐다. 여전히 정확한 자율성 수준에 대한 모호성이 존재하긴 하지만 기술적으로 AI의 자율 살상 시대는 이미 왔다는 게 전문가들 입장이다.
그런데 우리는 이런 자동 살상 시스템 진화의 위험성을 충분히 인식하지 못하고 있다. 자율살상무기(LAWS)는 AI가 ‘독자적으로’ 인간의 생명을 판단하고 제거할 수 있도록 설계된 무기체계다. 이 무기의 가장 큰 문제는 인간의 개입이 없다는 데 있다. 이는 단지 기술의 진보를 넘어 윤리의 붕괴를 예고하는 음산한 전조다.
자동 살상 시스템은 “AI가 정해준 표적을 ‘검증 없이 살해한다’”는 비판에 직면해있다. 이는 AI 시스템이 식별한 표적에 대해 인간 지휘관이나 분석가가 충분한 시간을 가지고 독립적인 재검증을 거치지 않은 채 공격 명령이 내려졌다는 것을 의미한다.
우리는 AI의 판단에 대한 최종적인 인간의 숙고 과정이 미흡했거나 AI가 추천한 표적을 맹목적으로 신뢰하여 공격을 실행했을 가능성에 대한 ‘인간과 AI의 숙명적 관계’를 다시 떠올려봐야 한다. AI가 제시한 정보의 오류 가능성, 민간인 시설과의 인접성, 표적의 민간인 여부 등을 충분히 고려하지 않은 채 공격이 이루어진다면 AI는 인간을 제치고 전쟁의 최대 파괴자로 둔갑하게 되는 것이다.
결과적으로 AI의 효율성에 의존하여 작전 속도는 빨라질지 모르지만 민간인 피해 최소화와 같은 윤리적 고려가 뒷전으로 밀릴 수 있다는 우려를 낳게 되는 것이다. 특히 AI가 ‘테러리스트’라고 판단한 표적이 실제로는 무고한 민간인이거나 민간 시설일 가능성도 배제할 수 없다는 점에서 심각한 ‘대량 오인 살상’ 가능성이 제기될 수 있다. 이는 아무리 적군이라고 해도 AI의 ‘자율 살상’에 의해 인간 생명 경시가 심화될 수 있다는 점에서 심각한 윤리 문제로 대두되고 있다.
유엔은 2026년까지 인간 통제 없이 작동하는 자율살상무기를 금지하고 그 외 모든 자율무기를 규제하는 국제조약을 마련하자고 촉구했다. 유럽을 중심으로 다자간 논의가 진행 중이지만 아직 법적 구속력이 있는 국제합의는 존재하지 않는다. 그 사이에도 전 세계는 군사용 AI 연구와 무기화 경쟁에 속도를 내고 있다.
이재명 정부도 AI 3대 강국 진입을 목표로 국방 분야에서도 AI의 적극 도입을 추진하고 있다. 하지만 우리는 AI 기반 자동 살상 시스템 변화의 위험성을 충분히 인식하지 못하고 있다. 이 무기의 가장 큰 문제는 인간의 개입이 없거나 무시되고 있다는 데 있다.
국방과학연구소는 국방 AI 기술 연구를 전담하는 ‘국방인공지능기술연구원’을 신설하고 국방 AI 기반 무기체계 개발에 투자를 확대해왔다. 정부는 2024년 ‘인공지능의 책임있는 군사적 이용에 관한 고위급회의’를 공동주최하며 군사분야 AI의 책임있는 이용, 윤리적·법률적·인도주의적 기준 마련을 강조한 바 있다. 하지만 군사용 AI에 대한 통제 장치, 윤리적 기준, 책임 규정 마련 등이 매우 미흡한 상황이다.
현재 우리 정부는 군사용 AI 활용에 대한 명확한 가이드라인을 제시하지 않고 있다. 국방부가 일부 가이드라인과 윤리 원칙 마련을 검토 중인 것으로 알려졌지만 실제 내용은 공개되지 않았고 사회적 합의 과정도 거치지 않았다. 군사기밀이라는 이유로 공론화조차 되지 못한다면 AI의 무기화는 통제 불가능한 수준으로 치달을 수 있다.
이런 우려 때문에 참여연대를 비롯한 시민단체에서는 “자율살상무기 포함 군사용 인공지능 활용에 대한 윤리적 기준, 안전성 확보와 통제 방안 수립을 위한 통합적 정책과 거버넌스를 마련해야 한다”고 주장한다. 국방부가 개발 중인 AI 가이드라인과 윤리적 평가 기준에 대한 공청회 등 공론화와 사회적 합의도 필요하다고 본다.
AI가 무기화될수록 인간의 개입과 책임은 줄어든다. 이는 단지 기술의 문제를 넘어선 민주주의와 인권의 문제다. AI가 민간인을 적으로 인식하고 자동으로 공격 결정을 내리는 일이 현실이 되었을 때 그 피해에 대해 누가 책임질 수 있을까? 기계인가, 프로그래머인가, 아니면 국가인가?
이재명 정부가 말하는 ‘AI 국방 강국’이란 무엇인가. 국방 분야에도 ‘AI 민주주의’가 필요하다는 전제를 간과해서는 안 된다. 특히 자율살상무기 등 고위험 군사용 AI는 인간 통제를 벗어나지 않도록 법적·제도적 안전장치를 마련해야 한다. 이재명 정부의 AI 국방 전략에 인권의 무게추도 함께 넣어 인간과 AI의 지혜로운 공존을 모색해야 한다.
지금까지 우리는 ‘이재명 정부 AI 전략을 다시 묻다’는 주제로 6회 동안 AI 정책의 앞과 뒤를 살펴보았다. AI는 국가경쟁력의 원천이자 미래의 동력이다. 그러나 기술은 인간을 위한 것이지, 인간을 대체하거나 억압하기 위한 수단이 되어서는 안 된다. 이재명 정부가 내건 ‘AI 3대 강국’ 비전이 진정한 국가대전환으로 이어지려면 기술의 영토를 넓히는 것 만큼이나 민주주의와 인권, 공공성과 안전의 경계선을 단단히 지켜야 한다. AI의 시대, 가장 중요한 것은 ‘사람’이어야 한다.
[성기노 기자(kino@boannews.com)]
터키 카르게(Kargu-2), 이미 2020년에 자율살상무기 전쟁 수행 능력 ‘시연’
인간 승인 없이 AI의 민간인 오인 살상 가능성 상존...AI 통제권 강화해야
이재명 정부는 AI 정부를 자처한다. 이재명 대통령은 취임 전부터 AI 분야에 깊은 관심을 보였고 경제 재도약과 국가대전환의 계기를 AI를 통해 실현해보려는 의지를 강력하게 드러내고 있다. 이 대통령은 ‘AI 3대 강국 도약’을 기치로 내걸고 100조 원 규모의 인공지능 산업 투자를 선언했다. 대통령실에는 전담 AI미래기획수석실이 신설되었고, 대규모 언어모델 개발을 주도한 민간 기업 출신 인사들이 과학기술분야 관련 부처에 배치돼 기대를 모으고 있다. 하지만 이재명 정부의 이 화려한 AI 드라이브의 이면에는, 우리가 간과하고 있거나 아무도 이야기하지 않는 그림자가 있다. ‘사람과 보안’은 6주 동안 참여연대와 시민사회가 이재명 정부에 제안한 ‘AI 정책에 반드시 포함되어야 할 6대 제안’을 바탕으로 ‘이재명 정부 AI 전략을 다시 묻다’ 시리즈를 연재한다. [편집자주]
[보안뉴스 성기노 기자] 가장 최근의 전쟁인 우크라이나 전쟁을 보면 AI 기술이 더 이상 상상속의 전력이 아님을 알 수 있다. 우크라이나 전쟁은 AI 기술이 전장에 얼마나 깊숙이 침투했는지 보여주는 대표적인 사례다. 특히 ‘AI 자폭 드론’의 등장은 전투 양상에 큰 변화를 가져왔다.
[자료: gettyimagesbank]
이 전쟁에서 러시아가 사용하는 ‘란셋’(Lancet) 드론은 대표적인 AI 기반 자폭 드론으로 꼽힌다. 인간이 AI에 특정 타깃의 상세 정보를 프로그래밍만 해 놓으면 AI가 알아서 표적을 찾아다니는 것이다. 기존 ‘원격 타격’ 시스템이 인간이 추적 모니터링을 하면서 일일이 타깃을 지정했지만 이제는 드론이 인간의 작전 수행 범위를 대폭 줄여주었다.
대표적인 ‘원격 타격 시스템’으로는 ‘MQ-9 리퍼’(MQ-9 Reaper) 드론이나 ‘프레데터’(Predator) 드론 등이 있다. 이들은 중동전쟁, 아프가니스탄, 파키스탄, 예멘 등지에서 미군이 사용한 무인기를 말하는데 지상에서 인간 조종사가 실시간 영상 정보를 확인하며 타깃을 식별하고 ‘인간의 승인’을 거쳐 정밀 타격을 최종적으로 수행한다.
여기서 중요한 개념은, 원격 타격 시스템이 ‘인간의 통제’라는 조건 위에서만 자동 살상을 한다는 것이다. 하지만 여기에서 문제가 발생한다. 기존의 ‘반자동 살상 시스템’에서 AI가 인간이 했던 최종 살상 승인까지 스스로 내리게 되는 ‘완전 자동 시스템’으로 진화하고 있다는 것이다.
현재의 AI 기반 자동화 살상 시스템은 인간의 관여 없이 ‘타깃 식별→판단→공격’까지 AI가 처리하려는 단계를 말한다. 이를 LAWS (자율살상무기:Lethal Autonomous Weapon Systems)라고 부른다. 러시아의 란셋은 엄밀히 말하면 AI 드론이 모든 살상 과정을 자율적으로 판단하지는 않는 일종의 ‘반자동 살상 시스템’이다.
하지만 인류는 이미 완전 자동의 자율살상무기인 터키의 카르게(Kargu-2)의 전쟁 수행을 경험한 바 있다. 지난 2020년 리비아 내전에서 Kargu가 자율적으로 공격했다는 유엔 보고서가 있다. 이는 인간이 개입하지 않고도 자율적으로 목표를 식별하고 제거한 사례로 언급된다.
당시 보고서는 “치명적인 자율 무기 시스템은 운용자와 탄약 사이에 데이터 연결이 필요 없이 목표물을 공격하도록 프로그램되었다”라고 언급했다. 그러나 인간의 어떤 개입도 없이 최종 살상 결정에서 ‘완전 자율적’인 공격으로 인해 인간의 사망이 확인된 사례라고 확정적으로 단정하기는 어렵다는 반론도 제기됐다. 여전히 정확한 자율성 수준에 대한 모호성이 존재하긴 하지만 기술적으로 AI의 자율 살상 시대는 이미 왔다는 게 전문가들 입장이다.
[자료: gettyimagesbank]
그런데 우리는 이런 자동 살상 시스템 진화의 위험성을 충분히 인식하지 못하고 있다. 자율살상무기(LAWS)는 AI가 ‘독자적으로’ 인간의 생명을 판단하고 제거할 수 있도록 설계된 무기체계다. 이 무기의 가장 큰 문제는 인간의 개입이 없다는 데 있다. 이는 단지 기술의 진보를 넘어 윤리의 붕괴를 예고하는 음산한 전조다.
자동 살상 시스템은 “AI가 정해준 표적을 ‘검증 없이 살해한다’”는 비판에 직면해있다. 이는 AI 시스템이 식별한 표적에 대해 인간 지휘관이나 분석가가 충분한 시간을 가지고 독립적인 재검증을 거치지 않은 채 공격 명령이 내려졌다는 것을 의미한다.
우리는 AI의 판단에 대한 최종적인 인간의 숙고 과정이 미흡했거나 AI가 추천한 표적을 맹목적으로 신뢰하여 공격을 실행했을 가능성에 대한 ‘인간과 AI의 숙명적 관계’를 다시 떠올려봐야 한다. AI가 제시한 정보의 오류 가능성, 민간인 시설과의 인접성, 표적의 민간인 여부 등을 충분히 고려하지 않은 채 공격이 이루어진다면 AI는 인간을 제치고 전쟁의 최대 파괴자로 둔갑하게 되는 것이다.
결과적으로 AI의 효율성에 의존하여 작전 속도는 빨라질지 모르지만 민간인 피해 최소화와 같은 윤리적 고려가 뒷전으로 밀릴 수 있다는 우려를 낳게 되는 것이다. 특히 AI가 ‘테러리스트’라고 판단한 표적이 실제로는 무고한 민간인이거나 민간 시설일 가능성도 배제할 수 없다는 점에서 심각한 ‘대량 오인 살상’ 가능성이 제기될 수 있다. 이는 아무리 적군이라고 해도 AI의 ‘자율 살상’에 의해 인간 생명 경시가 심화될 수 있다는 점에서 심각한 윤리 문제로 대두되고 있다.
[자료: gettyimagesbank]
유엔은 2026년까지 인간 통제 없이 작동하는 자율살상무기를 금지하고 그 외 모든 자율무기를 규제하는 국제조약을 마련하자고 촉구했다. 유럽을 중심으로 다자간 논의가 진행 중이지만 아직 법적 구속력이 있는 국제합의는 존재하지 않는다. 그 사이에도 전 세계는 군사용 AI 연구와 무기화 경쟁에 속도를 내고 있다.
이재명 정부도 AI 3대 강국 진입을 목표로 국방 분야에서도 AI의 적극 도입을 추진하고 있다. 하지만 우리는 AI 기반 자동 살상 시스템 변화의 위험성을 충분히 인식하지 못하고 있다. 이 무기의 가장 큰 문제는 인간의 개입이 없거나 무시되고 있다는 데 있다.
국방과학연구소는 국방 AI 기술 연구를 전담하는 ‘국방인공지능기술연구원’을 신설하고 국방 AI 기반 무기체계 개발에 투자를 확대해왔다. 정부는 2024년 ‘인공지능의 책임있는 군사적 이용에 관한 고위급회의’를 공동주최하며 군사분야 AI의 책임있는 이용, 윤리적·법률적·인도주의적 기준 마련을 강조한 바 있다. 하지만 군사용 AI에 대한 통제 장치, 윤리적 기준, 책임 규정 마련 등이 매우 미흡한 상황이다.
현재 우리 정부는 군사용 AI 활용에 대한 명확한 가이드라인을 제시하지 않고 있다. 국방부가 일부 가이드라인과 윤리 원칙 마련을 검토 중인 것으로 알려졌지만 실제 내용은 공개되지 않았고 사회적 합의 과정도 거치지 않았다. 군사기밀이라는 이유로 공론화조차 되지 못한다면 AI의 무기화는 통제 불가능한 수준으로 치달을 수 있다.
▲지난 2025년 3월 7일 당시 더불어민주당 이재명 대표가 7일 서울에서 열린 AI 시대, 대한민국 새로운 길을 찾다 AI강국위원회 주관 토론회에서 발언하고 있다. [자료:연합]
이런 우려 때문에 참여연대를 비롯한 시민단체에서는 “자율살상무기 포함 군사용 인공지능 활용에 대한 윤리적 기준, 안전성 확보와 통제 방안 수립을 위한 통합적 정책과 거버넌스를 마련해야 한다”고 주장한다. 국방부가 개발 중인 AI 가이드라인과 윤리적 평가 기준에 대한 공청회 등 공론화와 사회적 합의도 필요하다고 본다.
AI가 무기화될수록 인간의 개입과 책임은 줄어든다. 이는 단지 기술의 문제를 넘어선 민주주의와 인권의 문제다. AI가 민간인을 적으로 인식하고 자동으로 공격 결정을 내리는 일이 현실이 되었을 때 그 피해에 대해 누가 책임질 수 있을까? 기계인가, 프로그래머인가, 아니면 국가인가?
이재명 정부가 말하는 ‘AI 국방 강국’이란 무엇인가. 국방 분야에도 ‘AI 민주주의’가 필요하다는 전제를 간과해서는 안 된다. 특히 자율살상무기 등 고위험 군사용 AI는 인간 통제를 벗어나지 않도록 법적·제도적 안전장치를 마련해야 한다. 이재명 정부의 AI 국방 전략에 인권의 무게추도 함께 넣어 인간과 AI의 지혜로운 공존을 모색해야 한다.
지금까지 우리는 ‘이재명 정부 AI 전략을 다시 묻다’는 주제로 6회 동안 AI 정책의 앞과 뒤를 살펴보았다. AI는 국가경쟁력의 원천이자 미래의 동력이다. 그러나 기술은 인간을 위한 것이지, 인간을 대체하거나 억압하기 위한 수단이 되어서는 안 된다. 이재명 정부가 내건 ‘AI 3대 강국’ 비전이 진정한 국가대전환으로 이어지려면 기술의 영토를 넓히는 것 만큼이나 민주주의와 인권, 공공성과 안전의 경계선을 단단히 지켜야 한다. AI의 시대, 가장 중요한 것은 ‘사람’이어야 한다.
[성기노 기자(kino@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
성기노기자 기사보기
[2025-04-07] 
.jpg){kind=spacer}
.png){kind=spacer}
.jpg)
.jpg)
.jpg)
.jpg)
