최은수 인텔리빅스 대표 “똑똑한 AI보다 확실한 ‘비상 스위치’ 가진 AI가 패권 쥔다”

12일 대한상공회의소 ‘글로벌 인류공영 AI 포럼(GAFH) 2026’ 기조연설 진행
95% 정확도 환상 버려야... 통제가능성·책임성 내재화한 ‘T.R.U.S.T’ 프레임워크 제시
“韓 세계 최고 수준 제조 인프라 활용해 글로벌 ‘AI 신뢰 표준’ 주도해야”

[보안뉴스 강초희 기자] “AI 시대의 최종 승자는 ‘가장 자율적인 시스템’(Autonomous Systems)을 만드는 기업이 아니라 ‘가장 잘 통제되는 시스템’(Governable Systems)을 설계하는 기업이 될 것이다.”

인텔리빅스(대표 최은수·장정훈)의 최은수 대표가 12일 서울 대한상공회의소 국제회의장에서 열린 ‘글로벌 인류공영 AI 포럼(GAFH) 2026’에서 ‘신뢰가능한 AI 설계: 통제가능성과 책임성의 내재화’를 주제로 한 기조연설에서 이같은 견해를 밝혔다.

최 대표는 AI가 디지털 스크린을 벗어나 공장, 도시, 병원 등 물리적 세계에 직접 개입하는 ‘행동하는 AI’(Acting AI) 시대로 패러다임이 전환됐음을 선언했다.

최 대표는 “과거 분석형 AI의 오류는 엉뚱한 텍스트나 이미지를 생성하는 ‘불편함’ 수준이었지만, 물리력을 행사하는 ‘행동하는 AI’의 단 한 번의 오류는 생명과 직결된 대형 산업 재해로 이어진다”며 “전기가 인류 문명을 발전시켰듯 AI도 혁명적이지만, 누전 차단기나 절연체 없는 전기는 시한폭탄과 같다. AI 역시 산업 현장에 투입되기 위해서는 반드시 완벽한 ‘비상 스위치’가 내장돼야 한다”고 역설했다.

특히 기업들이 자랑하는 ‘AI 정확도 95%’의 함정을 강도 높게 지적했다. 통제된 실험실 환경에서의 95% 성공률은 수많은 변수가 존재하는 산업 현장에서는 사실상 ‘5%의 치명적 실패를 보장’하는 것과 같다는 것이다.

최 대표는 “가장 무서운 것은 AI가 확신에 차서 완전히 틀린 답을 내놓는 ‘그럴듯한 오류’(Plausible Error)”라며, “이러한 환각 현상은 인간의 판단을 마비시키고 기계를 맹신하게 만들어 결국 대형 사고와 막대한 기업 책임(Liability)을 초래한다”고 경고했다.

이에 대한 해법으로 최 대표는 설계 초기 단계부터 안전장치를 심어 넣는 ‘Risk-by-Design’(설계 기반 리스크 관리) 철학과 ‘T.R.U.S.T 프레임워크’를 제시했다.

T.R.U.S.T 프레임워크는 △데이터 추적성(Traceability) △위험 설계 차단(Risk-by-Design) △인간의 절대적 통제권 하드코딩(User Control) △이중 검증 모델(Second Validation) △완전한 책임성(Total Accountability)으로 구성된다.

최 대표는 이 프레임워크가 실제 적용된 자사의 차세대 AI 관제 플랫폼 ‘Gen AMS’를 소개했다. 시각-언어 모델(VLM)이 탑재된 Gen AMS는 단순한 알람을 넘어 위험 상황을 자연어로 설명(설명가능한 AI)하며, 인간 작업자가 이 근거를 바탕으로 최종 승인을 하거나 즉각적으로 기계의 제어권을 빼앗는 무효화 조치를 취할 수 있도록 설계됐다. AI가 AI를 교차 검증하고, 인간이 최종 결정권자가 되는 시스템적 워크플로우를 구현한 것이다.

마지막으로 최은수 대표는 대한민국의 ‘AI 주권’ 확보를 위한 국가적 전략을 제언했다.

최 대표는 “한국은 범용 거대언어모델(LLM)을 넘어, 세계 최고 수준의 반도체 생산라인과 제조업, 스마트시티라는 완벽한 ‘물리적 인프라 테스트베드’를 보유하고 있다”며 “국가 차원에서 산업 특화 예외 상황 데이터 생태계를 구축하고, 기술 수출을 넘어 전 세계가 따라야만 하는 AI의 ‘신뢰 표준’(Trust Standards)을 우리가 직접 정의하고 선도해야 한다”고 강조하며 연설을 마쳤다.

한편 이번 ‘GAFH 2026’ 포럼은 전 세계 AI 석학과 산업계 리더들이 모여 AI 기술의 발전 방향과 인류 공영을 위한 윤리적, 제도적 장치를 논의하기 위해 마련됐다.

[강초희 기자(choh@boannews.com)]

AI 및 AI 보안 솔루션이 보안 인력의 업무에 어떤 식으로 영향을 미칠것이라고 생각하시나요
	부족한 인력 보충: 만성적인 인력 부족 문제를 해결하는 보완재 역할을 하고 있다(100% 대체는 불가)
	업무 영역의 분리: AI는 대량 데이터 처리를, 전문가는 고도의 전략적 판단을 맡는 등 역할이 완전히 다르다
	업무 총량의 전이: 단순 업무는 줄었으나, AI 모델 관리·검증 등 새로운 형태의 운영 업무가 발생해 전체 업무량은 비슷하다
	인력 대체 가능: 단순 반복 업무를 넘어 분석/판단 영역까지 대체하여 인력을 줄일 수 있다
	신뢰도 부족: 아직은 AI의 오탐이나 환각(Hallucination) 우려로 인해 사람이 일일이 재검토해야 하므로 실질적인 도움은 적다