.jpg)
애저 AI 콘텐츠 세이프티, 잠재적 유해 콘텐츠 감지해 심각성에 대해 점수로 표기
사용자의 콘텐츠 사용 목적과 사례에 맞춰 세분화된 검수 기준 설정
생성 AI 잠재적 위협에 선제 대응 방안도 마련
[보안뉴스 박은주 기자] 마이크로소프트(MS)가 애저 AI 콘텐츠 세이프티(Azure AI Content Safety)를 출시, 안전한 온라인 환경과 콘텐츠를 만드는 책임 있는 AI 생태계 확장에 나선다.
지난 5월, 마이크로소프트는 연례 개발자 콘퍼런스 마이크로소프트 빌드(Microsoft Build 2023)를 통해 애저 오픈AI 서비스의 일부로 애저 AI 콘텐츠 세이프티를 소개한 바 있다. 이번에 공식 출시되는 애저 AI 콘텐츠 세이프티는 독립적인 실행이 가능한 시스템으로, 오픈 소스 모델과 여타 모델에서 생성된 AI 콘텐츠에도 적용할 수 있어 활용이 확대될 전망이다.
특히 수십 년간 이어진 마이크로소프트의 콘텐츠 관리 경험과 기능을 바탕으로 다양한 비즈니스 요구 사항을 가진 기업과 조직에 안전한 AI 콘텐츠 사용 환경을 제공할 수 있을 것으로 기대된다.
애저 AI 플랫폼에서 제공되는 애저 AI 콘텐츠 세이프티는 고급 언어와 비전 모델을 사용해 증오나 폭력 등 잠재적으로 유해한 콘텐츠를 감지, 이를 심각성 점수로 표시한다. 이를 통해 기업과 조직은 내부 정책에 근거해 유해 콘텐츠를 차단하거나 플래그 표식 등으로 서비스를 맞춤화할 수 있다.
에릭 보이드(Eric Boyd) 마이크로소프트 AI 플랫폼 담당 기업 부사장은 “이미 많은 기업이 생성형 AI의 가치와 역량을 경험하기 시작했다. 이런 상황에서 마이크로소프트는 애저 AI 콘텐츠 세이프티를 통해 더욱 다양한 비즈니스 요구 사항을 가진 고객에게 더욱 안전한 생성형 AI 사용 환경을 지원할 수 있을 것으로 기대한다”고 밝혔다.
마이크로소프트는 지난 2017년부터 책임 있는 AI 여정을 이어오고 있으며, 보안이 유지되는 안전한 환경에서 AI 설계, 개발 및 배포를 지원하는 강력한 프로세스 거버넌스(Process Governance)를 구현하고 있다. 애저 AI 콘텐츠 세이프티는 책임 있는 AI 기술 개발을 핵심 원칙으로 삼고 있는 마이크로소프트의 실행 기술로서, 앞으로도 마이크로소프트는 책임 있는 AI를 위한 연구의 경계를 지속 확장해 나갈 계획이다.
콘텐츠 사용 목적과 사례에 맞춰 분화된 검수 기준 설정 가능
먼저 애저 AI 콘텐츠 세이프티는 고객의 사용 목적과 사례에 맞춰 세분화된 검수 기능을 지원한다. 예를 들어 게임에 중점을 둔 플랫폼이 학생 교육용 콘텐츠를 제작할 경우 폭력성, 유해성에 대한 언어 표현 수준을 다르게 설정할 수 있다.
글로벌 에너지 기업 쉘(Shell)의 직원들은 자체 개발한 생성 AI 플랫폼 ‘Shell E’을 통해 애플리케이션을 구축하고 배포한다. 해당 플랫폼은 오픈 소스 및 기타 LLM 기술을 기반으로 콘텐츠 초안 작성, 번역, 요약 정리, 코드 생성, 지식 관리 등 광범위한 기술 영역에 걸쳐 다양한 콘텐츠를 생성한다. 이 과정에서 애저 AI 콘텐츠 세이프티는 부적절하거나 유해한 콘텐츠를 제한하고 온라인 공개 이전에 관련 정책을 준수하는지 확인한다.
신뢰할 수 있는 AI 환경 조성
생성 AI의 잠재적인 위협 증가에 대응하기 위한 방안도 마련한다. 마이크로소프트는 고객 피드백을 적극 반영하며 기술 고도화에 주력하고 있다. 특히 멀티모달 모델(Multimodal Model) 관련 지속적인 연구를 통해 불쾌감을 유발할 수 있는 이미지, 텍스트 등의 창작물 감지 기능도 강화할 예정이다.
마이크로소프트는 AI 기술이 책임감 있게 사용되고, 사람들의 신뢰를 얻는 방식으로 사용될 수 있는 기술 개발에 관한 노력을 지속하고 있다. 생성 AI가 확산함에 따라 온라인 공간에서 증가할 수 있는 잠재적인 위협에 선제적으로 대응하기 위해 연구와 고객 피드백에 기반해 지속해서 기술을 고도화하고 있다. 그 일환으로 애저 AI 세이프티에 탑재된 언어 모델(Language Models)은 문장의 문맥과 의미에 대한 이해를 바탕으로 다국어 텍스트를 분석한다. 비전 모델(Vision Models)은 최첨단 플로렌스(Florence) 기술을 통해 이미지를 분석해 잠재적으로 부적절하거나 유해한 창작물 등을 감지한다.
마이크로소프트의 새로운 애저 AI 콘텐츠 세이프티에 대한 더욱 자세한 내용은 마이크로소프트 공식 사이트 및 블로그에서 확인할 수 있다.
[박은주 기자(boan5@boannews.com)]
사용자의 콘텐츠 사용 목적과 사례에 맞춰 세분화된 검수 기준 설정
생성 AI 잠재적 위협에 선제 대응 방안도 마련
[보안뉴스 박은주 기자] 마이크로소프트(MS)가 애저 AI 콘텐츠 세이프티(Azure AI Content Safety)를 출시, 안전한 온라인 환경과 콘텐츠를 만드는 책임 있는 AI 생태계 확장에 나선다.
▲마이크로소프트 애저 AI 콘텐츠 세이프티[이미지=MS]
지난 5월, 마이크로소프트는 연례 개발자 콘퍼런스 마이크로소프트 빌드(Microsoft Build 2023)를 통해 애저 오픈AI 서비스의 일부로 애저 AI 콘텐츠 세이프티를 소개한 바 있다. 이번에 공식 출시되는 애저 AI 콘텐츠 세이프티는 독립적인 실행이 가능한 시스템으로, 오픈 소스 모델과 여타 모델에서 생성된 AI 콘텐츠에도 적용할 수 있어 활용이 확대될 전망이다.
특히 수십 년간 이어진 마이크로소프트의 콘텐츠 관리 경험과 기능을 바탕으로 다양한 비즈니스 요구 사항을 가진 기업과 조직에 안전한 AI 콘텐츠 사용 환경을 제공할 수 있을 것으로 기대된다.
애저 AI 플랫폼에서 제공되는 애저 AI 콘텐츠 세이프티는 고급 언어와 비전 모델을 사용해 증오나 폭력 등 잠재적으로 유해한 콘텐츠를 감지, 이를 심각성 점수로 표시한다. 이를 통해 기업과 조직은 내부 정책에 근거해 유해 콘텐츠를 차단하거나 플래그 표식 등으로 서비스를 맞춤화할 수 있다.
에릭 보이드(Eric Boyd) 마이크로소프트 AI 플랫폼 담당 기업 부사장은 “이미 많은 기업이 생성형 AI의 가치와 역량을 경험하기 시작했다. 이런 상황에서 마이크로소프트는 애저 AI 콘텐츠 세이프티를 통해 더욱 다양한 비즈니스 요구 사항을 가진 고객에게 더욱 안전한 생성형 AI 사용 환경을 지원할 수 있을 것으로 기대한다”고 밝혔다.
마이크로소프트는 지난 2017년부터 책임 있는 AI 여정을 이어오고 있으며, 보안이 유지되는 안전한 환경에서 AI 설계, 개발 및 배포를 지원하는 강력한 프로세스 거버넌스(Process Governance)를 구현하고 있다. 애저 AI 콘텐츠 세이프티는 책임 있는 AI 기술 개발을 핵심 원칙으로 삼고 있는 마이크로소프트의 실행 기술로서, 앞으로도 마이크로소프트는 책임 있는 AI를 위한 연구의 경계를 지속 확장해 나갈 계획이다.
콘텐츠 사용 목적과 사례에 맞춰 분화된 검수 기준 설정 가능
먼저 애저 AI 콘텐츠 세이프티는 고객의 사용 목적과 사례에 맞춰 세분화된 검수 기능을 지원한다. 예를 들어 게임에 중점을 둔 플랫폼이 학생 교육용 콘텐츠를 제작할 경우 폭력성, 유해성에 대한 언어 표현 수준을 다르게 설정할 수 있다.
▲마이크로소프트 애저 AI 콘텐츠 세이프티 예시 화면[이미지=MS]
글로벌 에너지 기업 쉘(Shell)의 직원들은 자체 개발한 생성 AI 플랫폼 ‘Shell E’을 통해 애플리케이션을 구축하고 배포한다. 해당 플랫폼은 오픈 소스 및 기타 LLM 기술을 기반으로 콘텐츠 초안 작성, 번역, 요약 정리, 코드 생성, 지식 관리 등 광범위한 기술 영역에 걸쳐 다양한 콘텐츠를 생성한다. 이 과정에서 애저 AI 콘텐츠 세이프티는 부적절하거나 유해한 콘텐츠를 제한하고 온라인 공개 이전에 관련 정책을 준수하는지 확인한다.
신뢰할 수 있는 AI 환경 조성
생성 AI의 잠재적인 위협 증가에 대응하기 위한 방안도 마련한다. 마이크로소프트는 고객 피드백을 적극 반영하며 기술 고도화에 주력하고 있다. 특히 멀티모달 모델(Multimodal Model) 관련 지속적인 연구를 통해 불쾌감을 유발할 수 있는 이미지, 텍스트 등의 창작물 감지 기능도 강화할 예정이다.
마이크로소프트는 AI 기술이 책임감 있게 사용되고, 사람들의 신뢰를 얻는 방식으로 사용될 수 있는 기술 개발에 관한 노력을 지속하고 있다. 생성 AI가 확산함에 따라 온라인 공간에서 증가할 수 있는 잠재적인 위협에 선제적으로 대응하기 위해 연구와 고객 피드백에 기반해 지속해서 기술을 고도화하고 있다. 그 일환으로 애저 AI 세이프티에 탑재된 언어 모델(Language Models)은 문장의 문맥과 의미에 대한 이해를 바탕으로 다국어 텍스트를 분석한다. 비전 모델(Vision Models)은 최첨단 플로렌스(Florence) 기술을 통해 이미지를 분석해 잠재적으로 부적절하거나 유해한 창작물 등을 감지한다.
마이크로소프트의 새로운 애저 AI 콘텐츠 세이프티에 대한 더욱 자세한 내용은 마이크로소프트 공식 사이트 및 블로그에서 확인할 수 있다.
[박은주 기자(boan5@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박은주기자 기사보기
[2025-02-03] 
