에이닷, 엔트로픽, 코난 등 멀티 LLM 기반 엔터프라이즈 AI 사업 추진
[보안뉴스 박미영 기자] SK텔레콤이 기업·공공용 ‘생성형 AI 시장’ 공략을 위한 ‘멀티 LLM(Large Language Model)’ 전략을 지난 23일 발표했다.
SKT는 기업 및 공공기관 등의 요구에 맞춰 △대화 및 고객센터 등 통신사 기반 서비스를 중심으로 자체 개발해 온 에이닷 LLM △윤리적 답변 및 대용량 텍스트(Text) 입력에 강점이 있는 엔트로픽(Anthropic) LLM △한국어 데이터가 풍부한 코난 LLM 등을 조합해 고객 맞춤형으로 제공하기 위한 기술 및 사업적 준비를 진행 중이라고 밝혔다.
현재 국내 LLM 시장은 오픈AI를 필두로 다수 기업들이 자사 LLM 기반의 사업을 준비 중인데, SKT는 자체 LLM과 더불어 업계에서 인정받는 타사의 LLM까지 포함한 라인업으로 ‘멀티 LLM’ 사업 추진 계획을 밝힌 것이다.
우선 자강의 측면에서 한국어 기반의 SKT 에이닷 LLM은 8월부터 엔터프라이즈(Enterprise)용 기본모델(Foundation Model)을 출시하고 고객사 대상 모델을 학습시키고 최적화 작업을 진행하고 있다고 밝혔다..
LLM 기본모델(Foundation Model)은 문서 요약, 문서 생성, Q&A 등을 수행할 수 있는 기본 기능을 갖춘 AI 소프트웨어다. 기본 기능이 제대로 발휘되려면 이 모델을 필요로 하는 고객사의 실제 데이터(주로 문서 형태)를 넣어서 학습시키고 고객이 원하는 방향으로 조율(Tuning)하는 과정을 거쳐야 한다.
협력의 측면에서는 SKT의 지분투자 이후 다양한 분야에서 협력을 확대하고 있는 코난의 LLM도 활용할 계획이다. 또한 지난 13일 지분 투자를 발표한 엔트로픽(Anthropic) LLM의 경우, SKT의 주요 B2B 서비스에 LLM 기능을 결합해 판매하는 방식을 우선 협의 중이다. 기능 통합 작업이 완료되는 4Q부터 실제 서비스 제공이 가능할 것으로 기대된다.
LLM을 포함한 AI 서비스는 사전 학습을 위한 데이터와 함께 안정적 서비스 제공을 위한 GPU 서버 인프라가 확실히 뒷받침돼야 개발시간 단축과 함께 정교한 서비스 개발이 가능하다. SKT는 국내 최고 수준의 슈퍼컴 등 대규모 GPU 시스템을 갖추고 있어 고객 요구에 맞는 안정적 사전 학습이 가능하다.
또한 전국 단위의 IT 인프라를 운용한 경험과 대규모 AI 개발자 기반(Pool)을 보유하고 있어, 하드웨어 인프라에서 LLM 소프트웨어에 이르기까지 엔터프라이즈 AI 분야에서 ‘Full Stack 서비스(Approach)’가 가능할 것으로 보고 있다.
SKT가 설립한 AI반도체 전문기업인 ‘사피온’ 의 신제품인 X330 등의 신기술을 활용, 기존 GPU가 가지고 있는 발열과 높은 가격이라는 이슈를 해결하려는 것 역시 이러한 ‘Full Stack 서비스’의 일환이다.
이러한 접근을 통해 SKT는 고객별 특성에 가장 잘 맞는 LLM 서비스를 가장 비용효율적으로 공급하는 엔터프라이즈 AI 사업자가 될 수 있을 것으로 기대하고 있다.
확보된 LLM을 강력한 인프라와 결합한 이후, 이를 개별 산업별로 최적화된 형태로 공급하기 위해서는 실제 고객 사이트에서 구축 및 운용 경험이 풍부한 사업자들과의 협력이 필수적이다.
SKT는 최근 지분투자를 단행해 3대주주가 된 페르소나AI와 컨택센터(AI Con-tact Center) 분야 LLM 구축 사업 협력을 추진하는 등 다양한 방식의 LLM 사업 추진을 위한 생태계를 구축·확대해 나갈 계획이다.
최근 LLM 관련 시장은 각 산업 분야별로 고객이 필요로 하는 구체적인 서비스를 가장 비용 효율적으로 제공할 수 있는 방식으로 경쟁의 축이 이동하고 있다.
SKT가 제공하고자 하는 기업공공(Enterprise) 분야 LLM 서비스는 각각의 LLM이 가진 고유의 특장점을 가장 잘 발휘할 수 있는 분야에 각 LLM 서비스를 매칭하는 ‘산업별 특화 LLM 서비스’ 제공을 지향하고 있다.
예를 들면 에이닷 LLM의 경우 학습한 데이터나 서비스 성격상 주로 대화나 챗봇 등 통신사향에 서비스 장점이 있고 엔트로픽 LLM의 경우 AI가 따라야 할 윤리원칙을 미리 학습시켜 뒀기 때문에(Constitutional AI, 규범 AI), 사람이 정해 놓은 윤리원칙에 맞는 답변을 얻을 수 있는 특성이 있다. 또한 자료 입력 시 소설책 한권에 해당하는 텍스트(10만토큰, 7만5,000단어)를 통째로 입력 가능한 장점이 있다.
이를 통해 한국어 기반의 구축형 LLM 시장에서는 에이닷 LLM을 중심으로 시장을 선점하고 초거대 AI 중심의 경쟁이 예상되는 클라우드형 LLM의 경우 엔트로픽 LLM 등을 활용해 시장을 공략할 계획이다.
LLM 서비스의 수요가 먼저 나타나고 있는 분야는 정부 부처, 공기업, 금융기업 등이다. 아직 초기 단계이기는 하나 국내 대형 제조사 등을 중심으로 제조업(Manufacturing) AI 수요도 생기고 있다.
SKT는 우선 행안부·과기정통부 등 정부에서 추진 중인 LLM 기반 시범 사업과 본 사업 참여를 준비 중이며, 금융권을 중심으로 한 LLM 기반 서비스 구축 프로젝트도 개별 고객사와 함께 추진 중에 있다.
SK그룹 내 대형 제조 계열사 등과도 LLM 기반 AI 기술의 제조 영역 적용을 위한 협의를 진행하고 있다. SKT가 강점을 보여본 빅데이터 분석 사업과 결합할 경우 제조 공정에서 일하는 작업자들이 LLM AI 기술을 통해 생산 시간을 단축하는 등 생산성 향상에도 크게 기여할 수 있을 것으로 기대된다.
한편, SKT는 기업 및 공공사업 담당 구성원을 대상으로 멀티 LLM의 주요 기능, 사용법 등에 대한 교육을 지난주부터 진행해 오고 있다.
SKT 엔터프라이즈 사업을 이끌고 있는 김경덕 CIC장(부사장)은 멀티 LLM 교육 과정에 참석한 사내 구성원들에게 “중요한 것은 고객의 요구 사항(Needs)으로, 다양한 멀티 LLM 조합을 기반으로 고객들이 실제 필요로 하는 서비스를 신속하게 제공하는 것이 중요하다”고 강조했다.
[박미영 기자(mypark@boannews.com)]
[보안뉴스 박미영 기자] SK텔레콤이 기업·공공용 ‘생성형 AI 시장’ 공략을 위한 ‘멀티 LLM(Large Language Model)’ 전략을 지난 23일 발표했다.
[사진=SKT]
SKT는 기업 및 공공기관 등의 요구에 맞춰 △대화 및 고객센터 등 통신사 기반 서비스를 중심으로 자체 개발해 온 에이닷 LLM △윤리적 답변 및 대용량 텍스트(Text) 입력에 강점이 있는 엔트로픽(Anthropic) LLM △한국어 데이터가 풍부한 코난 LLM 등을 조합해 고객 맞춤형으로 제공하기 위한 기술 및 사업적 준비를 진행 중이라고 밝혔다.
현재 국내 LLM 시장은 오픈AI를 필두로 다수 기업들이 자사 LLM 기반의 사업을 준비 중인데, SKT는 자체 LLM과 더불어 업계에서 인정받는 타사의 LLM까지 포함한 라인업으로 ‘멀티 LLM’ 사업 추진 계획을 밝힌 것이다.
우선 자강의 측면에서 한국어 기반의 SKT 에이닷 LLM은 8월부터 엔터프라이즈(Enterprise)용 기본모델(Foundation Model)을 출시하고 고객사 대상 모델을 학습시키고 최적화 작업을 진행하고 있다고 밝혔다..
LLM 기본모델(Foundation Model)은 문서 요약, 문서 생성, Q&A 등을 수행할 수 있는 기본 기능을 갖춘 AI 소프트웨어다. 기본 기능이 제대로 발휘되려면 이 모델을 필요로 하는 고객사의 실제 데이터(주로 문서 형태)를 넣어서 학습시키고 고객이 원하는 방향으로 조율(Tuning)하는 과정을 거쳐야 한다.
협력의 측면에서는 SKT의 지분투자 이후 다양한 분야에서 협력을 확대하고 있는 코난의 LLM도 활용할 계획이다. 또한 지난 13일 지분 투자를 발표한 엔트로픽(Anthropic) LLM의 경우, SKT의 주요 B2B 서비스에 LLM 기능을 결합해 판매하는 방식을 우선 협의 중이다. 기능 통합 작업이 완료되는 4Q부터 실제 서비스 제공이 가능할 것으로 기대된다.
LLM을 포함한 AI 서비스는 사전 학습을 위한 데이터와 함께 안정적 서비스 제공을 위한 GPU 서버 인프라가 확실히 뒷받침돼야 개발시간 단축과 함께 정교한 서비스 개발이 가능하다. SKT는 국내 최고 수준의 슈퍼컴 등 대규모 GPU 시스템을 갖추고 있어 고객 요구에 맞는 안정적 사전 학습이 가능하다.
또한 전국 단위의 IT 인프라를 운용한 경험과 대규모 AI 개발자 기반(Pool)을 보유하고 있어, 하드웨어 인프라에서 LLM 소프트웨어에 이르기까지 엔터프라이즈 AI 분야에서 ‘Full Stack 서비스(Approach)’가 가능할 것으로 보고 있다.
SKT가 설립한 AI반도체 전문기업인 ‘사피온’ 의 신제품인 X330 등의 신기술을 활용, 기존 GPU가 가지고 있는 발열과 높은 가격이라는 이슈를 해결하려는 것 역시 이러한 ‘Full Stack 서비스’의 일환이다.
이러한 접근을 통해 SKT는 고객별 특성에 가장 잘 맞는 LLM 서비스를 가장 비용효율적으로 공급하는 엔터프라이즈 AI 사업자가 될 수 있을 것으로 기대하고 있다.
확보된 LLM을 강력한 인프라와 결합한 이후, 이를 개별 산업별로 최적화된 형태로 공급하기 위해서는 실제 고객 사이트에서 구축 및 운용 경험이 풍부한 사업자들과의 협력이 필수적이다.
SKT는 최근 지분투자를 단행해 3대주주가 된 페르소나AI와 컨택센터(AI Con-tact Center) 분야 LLM 구축 사업 협력을 추진하는 등 다양한 방식의 LLM 사업 추진을 위한 생태계를 구축·확대해 나갈 계획이다.
최근 LLM 관련 시장은 각 산업 분야별로 고객이 필요로 하는 구체적인 서비스를 가장 비용 효율적으로 제공할 수 있는 방식으로 경쟁의 축이 이동하고 있다.
SKT가 제공하고자 하는 기업공공(Enterprise) 분야 LLM 서비스는 각각의 LLM이 가진 고유의 특장점을 가장 잘 발휘할 수 있는 분야에 각 LLM 서비스를 매칭하는 ‘산업별 특화 LLM 서비스’ 제공을 지향하고 있다.
예를 들면 에이닷 LLM의 경우 학습한 데이터나 서비스 성격상 주로 대화나 챗봇 등 통신사향에 서비스 장점이 있고 엔트로픽 LLM의 경우 AI가 따라야 할 윤리원칙을 미리 학습시켜 뒀기 때문에(Constitutional AI, 규범 AI), 사람이 정해 놓은 윤리원칙에 맞는 답변을 얻을 수 있는 특성이 있다. 또한 자료 입력 시 소설책 한권에 해당하는 텍스트(10만토큰, 7만5,000단어)를 통째로 입력 가능한 장점이 있다.
이를 통해 한국어 기반의 구축형 LLM 시장에서는 에이닷 LLM을 중심으로 시장을 선점하고 초거대 AI 중심의 경쟁이 예상되는 클라우드형 LLM의 경우 엔트로픽 LLM 등을 활용해 시장을 공략할 계획이다.
LLM 서비스의 수요가 먼저 나타나고 있는 분야는 정부 부처, 공기업, 금융기업 등이다. 아직 초기 단계이기는 하나 국내 대형 제조사 등을 중심으로 제조업(Manufacturing) AI 수요도 생기고 있다.
SKT는 우선 행안부·과기정통부 등 정부에서 추진 중인 LLM 기반 시범 사업과 본 사업 참여를 준비 중이며, 금융권을 중심으로 한 LLM 기반 서비스 구축 프로젝트도 개별 고객사와 함께 추진 중에 있다.
SK그룹 내 대형 제조 계열사 등과도 LLM 기반 AI 기술의 제조 영역 적용을 위한 협의를 진행하고 있다. SKT가 강점을 보여본 빅데이터 분석 사업과 결합할 경우 제조 공정에서 일하는 작업자들이 LLM AI 기술을 통해 생산 시간을 단축하는 등 생산성 향상에도 크게 기여할 수 있을 것으로 기대된다.
한편, SKT는 기업 및 공공사업 담당 구성원을 대상으로 멀티 LLM의 주요 기능, 사용법 등에 대한 교육을 지난주부터 진행해 오고 있다.
SKT 엔터프라이즈 사업을 이끌고 있는 김경덕 CIC장(부사장)은 멀티 LLM 교육 과정에 참석한 사내 구성원들에게 “중요한 것은 고객의 요구 사항(Needs)으로, 다양한 멀티 LLM 조합을 기반으로 고객들이 실제 필요로 하는 서비스를 신속하게 제공하는 것이 중요하다”고 강조했다.
[박미영 기자(mypark@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박미영기자 기사보기
[2024-05-04] 
