[한국정보보호학회 칼럼] On-device AI 시대, 저작권 보호의 경계가 단말로 이동하고 있다

On-device AI 시대의 저작권 보호, 창작자 위한 방어선이자, AI 산업 전체 지속 가능의 안전장치

[보안뉴스= 이종혁 한국정보보호학회 상임이사] 생성형 AI의 중심이 클라우드에서 단말로 이동하고 있다. 지금까지 대형언어모델과 에이전틱 AI는 주로 클라우드 서버에서 추론을 수행했지만, 최근에는 휴대폰, 태블릿, 노트북, 차량, 웨어러블, 로봇과 같은 사용자 단말 안으로 들어오고 있다.

이 변화는 긍정적이다. 네트워크 지연과 클라우드 추론 비용은 줄어들고, 개인정보는 단말 밖으로 나가지 않는다. 그러나 정보보호와 저작권 보호의 관점에서는 불편한 질문이 남는다. 저작권 침해를 통제하던 경계가 클라우드 서버에서 사용자 단말로 이동할 때, 우리는 무엇을 어떻게 보호할 수 있는가?

클라우드 기반 AI에서는 이용 약관, 프롬프트 필터링, 산출물 필터링, 로깅, 악용 탐지, 사후 차단과 같은 중앙 통제가 가능했다. 반면 On-device AI에서는 많은 작업이 단말 내부에서, 때로는 오프라인 상태에서 이루어진다. 서버는 사용자가 어떤 콘텐츠를 입력했는지, 모델이 무엇을 생성했는지, 그 결과가 어디로 배포되었는지 알지 못할 수 있다. 이는 저작권 보호의 새로운 사각지대다.

AI 모델 자체가 탈취 대상
첫 번째 위험은 AI 모델 자체의 탈취다. On-device 모델에는 학습 데이터 정제, 모델 구조, 최적화 노하우, 안전성 정렬, 하드웨어 가속 기술이 응축되어 있다. 모델 파일, 가중치, 추론 런타임, 파인튜닝 어댑터는 모두 중요한 지식재산이다. 예를 들어 금융 문서 분석을 위해 파인튜닝한 경량 모델이 모바일 앱으로 배포된 뒤, 공격자가 가중치나 어댑터를 추출해 유사 서비스를 출시한다면 단순한 소프트웨어 복제가 아니다. 도메인 지식과 안전 정책이 함께 유출되고, 사업 경쟁력까지 훼손되는 것이다.

OWASP의 LLM 보안 위험 분류에서도 모델 탈취는 지속적으로 다루어져 왔다. 2023~2024년에는 Model Theft를 독립 항목으로 제시했고, 2025년에는 모델 추출과 기능적 복제 우려를 Unbounded Consumption 및 공급망 위험 등으로 재편했다. 이는 모델 탈취가 파일 유출을 넘어 추론 남용, 공급망 취약성, 온디바이스 배포 구조와 결합된 복합 위험임을 보여준다.

클라우드 모델은 적어도 모델 가중치가 서비스 제공자의 통제 안에 있다. 반면 On-device AI에서는 모델의 일부 또는 전부가 사용자 단말에 배포된다. 루팅·탈옥 기기, 변조된 앱 패키지, 메모리 덤프, 에뮬레이터 환경은 현실적인 공격 표면이다. 여기에는 고전적인 DRM의 비대칭성이 존재한다. 방어자는 모든 우회 경로를 막아야 하지만 공격자는 하나의 취약점만 찾으면 된다. 따라서 목표는 절대 복제가 아니라 복제를 어렵게 만들고, 유출 모델을 식별하며, 피해와 책임을 추적 가능하게 만드는 것이어야 한다.

조용하고 일상화되는 저작권 침해
두 번째 위험은 저작권 침해가 더 조용하고 일상적으로 발생한다는 점이다. On-device AI에서는 전자책, 강의자료, 논문, 뉴스 기사, 웹툰, 이미지, 음악, 영상, 자막, 소스코드를 단말 내부에서 처리할 수 있다. 이 과정이 외부 서버에 기록되지 않는다면 침해 탐지와 사후 대응은 어려워진다.

예를 들어 사용자가 유료 전자책 전체를 단말 AI에 입력해 30쪽 요약본, 문제집, 번역본을 만들고 온라인 커뮤니티에 배포할 수 있다. 유료 뉴스 기사를 매일 요약해 뉴스레터로 공유하거나, 웹툰 이미지를 분석해 특정 작가의 화풍을 모방한 홍보물을 만들 수도 있다. 그러나 사용자가 직접 작성한 회의록을 요약하거나 구입한 책의 일부를 개인 학습 목적으로 정리하는 경우에는 평가가 달라진다. “이 유료 전자책 전체를 30쪽 요약본으로 만들어 블로그에 올려줘”와 “내가 쓴 원고를 1쪽으로 요약해줘”는 기술적으로 비슷하지만 저작권 위험은 전혀 다르다.

물론 모든 AI 활용이 저작권 침해는 아니다. 사적 이용, 정당한 인용, 공정이용, 교육·연구 목적의 제한적 이용 등은 개별 사안에 따라 달리 판단될 수 있다. 그러나 AI가 저작권법의 기본 구조를 무력화하지는 않는다. 저작물을 AI에 입력하고, 변환하고, 요약하고, 번역하고, 재배포하는 행위는 복제권, 2차적저작물작성권, 배포권, 공중송신권 등과 충돌할 수 있다. ‘내 휴대폰 안에서 한 일’이라는 사실만으로 저작권 문제가 사라지는 것은 아니다.

침해를 행동 흐름으로 만드는 Agentic AI
세 번째 위험은 Agentic AI가 침해를 하나의 산출물이 아니라 행동 흐름으로 만든다는 점이다. 앞으로의 On-device AI는 파일을 읽고, 사진첩을 검색하고, 음성을 전사하고, 문서를 요약하며 게시물까지 업로드하는 에이전트가 될 것이다.

예를 들어 AI가 구독 앱의 기사를 요약해 뉴스레터를 만들고, 이미지 생성 모델로 삽화를 추가한 뒤 SNS에 자동 게시한다고 하자. 이 경우 콘텐츠 접근, 복제, 변환, 편집, 저장, 전송, 공개가 하나의 체인으로 연결된다. 더 우려되는 장면은 AI가 여러 앱을 넘나들 때 발생한다. 사용자가 “이번 주 강의 내용을 정리해서 친구들에게 보내줘”라고 요청했는데, AI가 강의 음성을 전사하고, 칠판 사진을 읽고, 학습관리 시스템의 강의자료를 내려 받아, 요약 노트로 편집한 뒤 메신저로 전송할 수 있다. 마지막 산출물 하나만 보아서는 판단이 어렵다. 어떤 권한으로 어떤 자료에 접근했고, 어떤 변환과 배포가 이루어졌는지를 함께 보아야 한다.

프라이버시와 저작권
On-device AI의 장점은 데이터가 단말 밖으로 나가지 않는다는 데 있다. 그러나 저작권 집행은 일정한 가시성과 증거를 요구한다. 모든 입력과 산출물을 서버로 보내 검사하면 프라이버시 장점은 사라지고, 어떤 기록도 남기지 않으면 권리자는 침해를 입증하기 어렵다. 따라서 상시 감시가 아니라 외부 공유, 상업적 이용, 분쟁 발생과 같은 특정 시점에 한해 최소한의 검증 정보를 활용하는 방향이 필요하다. 예를 들어 단말 내부에는 원문이 아니라 콘텐츠 해시, 라이선스 확인 결과, 사용자 승인 여부, 산출물 지문 등을 제한적으로 보관하는 방식이 검토될 수 있다. 영지식 증명형 감사도 연구 대상이다.

DRM을 넘어, 단말 내 권한 거버넌스
저작권보호기술도 DRM을 넘어야 한다. 이제는 모델, 데이터, 프롬프트, 산출물, 에이전트 권한, 이용 목적, 배포 경로를 함께 다루어야 한다. 모델 암호화, 하드웨어 기반 키 보호, 신뢰 실행 환경, 무결성 검증, 워터마킹, 핑거프린팅, 라이선스 바인딩이 필요하되, 이는 봉쇄가 아니라 다층 방어의 일부로 보아야 한다. 다만 산출물 워터마킹과 출처 표시는 만능이 아니며, 특히 텍스트 워터마킹은 재작성, 번역, 요약에 취약하므로 보조 수단으로 이해해야 한다.

콘텐츠 출처와 권리 정보를 기계가 읽을 수 있게 하는 것도 중요하다. 입력 파일이 개인 창작물인지, 공개 라이선스 콘텐츠인지, 유료 구독 콘텐츠인지, 타인의 저작물인지 AI가 구분하지 못한다면 적절한 통제도 어렵다. AI는 입력 콘텐츠의 성격, 라이선스, 이용 목적, 산출물의 공개 범위를 확인하고, 위험한 요청에는 경고, 제한, 사용자 확인, 출처 표시, 유사도 검사와 같은 조치를 제공해야 한다.

단말 내 권한 거버넌스도 필요하다. 핵심은 AI 기능을 단순히 허용하거나 금지하는 것이 아니라, AI가 어떤 콘텐츠를 읽고, 어떤 방식으로 변환하며, 생성된 결과물을 어디로 내보낼 수 있는가를 통제하는 것이다. 사진 정리 기능에는 선택한 사진만, 문서 교정 기능에는 선택한 문서에 대한 일시적 접근만 허용해야 한다. 외부 공유 기능에는 별도의 사용자 확인 절차가 필요하다.

동시에 저작권 보호가 중요하다고 해서 On-device AI의 모든 이용을 의심해서는 안 된다. On-device AI는 장애인 접근성, 개인 학습, 연구 보조, 사적 번역과 요약처럼 합법적 이용도 크게 확장한다. 플랫폼 역시 권한 세분화와 투명성을 제공해야 하지만 저작권의 최종 심판자가 되어서는 안 된다.

이러한 문제의식은 국내 연구와 인재양성에서도 중요한 과제가 되고 있다. 문화체육관광부의 국가R&D 사업으로 한국콘텐츠진흥원(KOCCA)이 지원하는 ‘On-Device AI 모델 저작권 보호 및 관리를 위한 글로벌 인재양성’ 과제는 2025년 4월 1일부터 2028년 12월 31일까지 수행된다. 이 과제는 On-device AI 모델 보호, 라이선스 관리, 단말 바인딩, 침해 탐지, 글로벌 교육훈련이 함께 필요하다는 점을 보여준다.

AI 경쟁력은 더 작은 모델을 얼마나 빠르게 단말에 넣느냐 만으로 결정되지 않는다. 그 모델이 누구의 권리 위에서 동작하는지, 어떤 콘텐츠를 어떤 권한으로 처리하는지, 산출물이 어디서 왔는지 설명할 수 있어야 한다. On-device AI 시대의 저작권 보호는 창작자를 위한 방어선이자, AI 산업 전체를 지속 가능하게 만드는 안전장치다. 이제 저작권보호기술의 경계는 클라우드 밖으로, 바로 우리 손안의 단말까지 내려와야 한다.

[글_이종혁 한국정보보호학회 상임이사/세종대학교 정보보호학과 교수/SAIST 사이버보안연구센터 센터장]

AI 및 AI 보안 솔루션이 보안 인력의 업무에 어떤 식으로 영향을 미칠것이라고 생각하시나요
	부족한 인력 보충: 만성적인 인력 부족 문제를 해결하는 보완재 역할을 하고 있다(100% 대체는 불가)
	업무 영역의 분리: AI는 대량 데이터 처리를, 전문가는 고도의 전략적 판단을 맡는 등 역할이 완전히 다르다
	업무 총량의 전이: 단순 업무는 줄었으나, AI 모델 관리·검증 등 새로운 형태의 운영 업무가 발생해 전체 업무량은 비슷하다
	인력 대체 가능: 단순 반복 업무를 넘어 분석/판단 영역까지 대체하여 인력을 줄일 수 있다
	신뢰도 부족: 아직은 AI의 오탐이나 환각(Hallucination) 우려로 인해 사람이 일일이 재검토해야 하므로 실질적인 도움은 적다