|
KT는 27일 기자간담회를 열고 오는 30일 기업용 AI 플랫폼 ‘토큰팩토리’를 출시한다고 밝혔다.
토큰팩토리는 기업이 다양한 국내외 AI 모델을 하나의 응용프로그램인터페이스(API)로 이용할 수 있도록 지원하는 서비스다. AI 모델마다 별도로 가입하고 시스템을 연동할 필요 없이 한 곳에서 원하는 모델을 선택하고 사용량과 비용을 관리할 수 있다.
출시 초기에는 국내외 AI 모델 73종을 제공한다. 오는 11월에는 글로벌 AI 모델 플랫폼 오픈라우터와의 제휴를 통해 500여 종의 모델을 추가로 연계할 계획이다.
KT가 토큰팩토리를 통해 구축하려는 핵심 경쟁력은 AI 토큰의 생산부터 유통, 전달, 정산까지 아우르는 사업 구조다.
토큰은 AI 모델이 문장을 이해하고 답변을 생성할 때 사용하는 데이터 처리 단위다. 기업이 AI를 많이 활용할수록 처리하는 토큰이 늘어나고, 이에 따라 AI 이용 비용도 증가한다.
|
먼저 생산 단계에서는 국내 데이터센터에 구축한 그래픽처리장치(GPU)를 활용해 AI 모델을 직접 구동한다. AI가 질문을 처리하고 답변을 생성하는 추론 연산을 수행하고, 사용량에 따라 요금을 받는 방식이다.
출시 초기 국내 인프라에서 직접 추론하는 모델은 7종이다. KT 자체 AI 모델인 ‘믿음’을 비롯해 모티프-3, 솔라프로4 등 국내 AI 스타트업의 모델과 주요 오픈웨이트 모델 등을 제공할 예정이다.
유통 단계에서는 글로벌 AI 모델을 토큰팩토리에 연결한다. 기업 고객은 국내 모델뿐 아니라 해외의 다양한 AI 모델도 하나의 플랫폼에서 선택할 수 있다. KT는 오픈라우터와의 제휴를 통해 모델 선택권을 확대하는 한편, 국내 인프라에서 구동하는 AI 모델을 글로벌 시장에 공급하는 방안도 추진한다.
전달 단계에서는 KT가 보유한 기업 전용회선과 프라이빗 클라우드 등을 활용한다. 기업 고객의 필요에 따라 AI 서비스와 전용망을 결합하고, 서비스수준협약(SLA) 등을 포함한 맞춤형 환경을 제공할 계획이다.
정산 단계에서는 통신사업에서 축적한 과금 역량을 활용한다. KT는 통화 상세 기록(CDR)과 유사한 ‘토큰 상세 기록(TDR)’ 체계를 도입해 AI 모델별 사용량을 측정하고 요금을 통합 청구할 예정이다.
기업은 여러 AI 모델의 사용료를 원화로 한 번에 결제할 수 있으며, 기존 KT 통신요금과 함께 정산하는 것도 가능해진다.
KT AX사업부문장 박상원 전무는 “KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.
|
토큰팩토리에는 KT가 자체 개발한 AI 비용 최적화 기술도 적용된다.
대표적인 기능은 ‘오토 모델 라우터’다. 기업이 AI에 질문하면 요청의 난도와 업무 특성을 분석해 적합한 모델을 자동으로 선택한다. 예를 들어 간단한 문서 요약이나 번역에는 비용이 저렴한 경량 AI 모델을 사용하고, 복잡한 분석이나 추론이 필요한 작업에는 고성능 모델을 연결하는 방식이다.
AI에 입력하는 문장을 압축해 불필요한 토큰 사용을 줄이는 기능도 제공한다.
KT는 내부 시험에서 프롬프트 압축으로 약 20%, 모델 라우팅으로 약 5%의 비용 절감 효과를 확인했다고 밝혔다. 두 기술을 합쳐 최대 25%의 비용을 줄일 수 있다는 설명이다. 다만 실제 절감 효과는 사용하는 AI 모델과 업무에 따라 달라질 수 있다.
기업의 보안 우려를 줄이기 위한 기능도 마련했다. 개인정보나 유해 표현이 AI에 입력되거나 답변으로 출력되는 것을 차단하는 가드레일 기능을 제공하고, 기업별로 사용 가능한 모델과 접근 IP를 제한할 수 있도록 했다.
KT는 토큰팩토리를 단순한 AI 모델 중개 플랫폼이 아닌 새로운 수익사업으로 육성한다는 방침이다.
일반적인 AI 모델 중개사업은 외부 AI 모델을 연결하고 수수료를 받는 구조다. 반면 KT는 국내 데이터센터의 GPU를 활용해 AI 추론 서비스를 직접 제공함으로써 자체적인 수익을 확보하겠다는 전략이다.
이진형 KT AX사업본부장 상무는 “저희가 직접 토큰을 생산하기 때문에 마진을 선택할 수 있는 폭이 넓다”고 설명했다.
여기에 기존 기업 고객을 대상으로 제공하는 전용회선, 프라이빗 클라우드, AI 에이전트 구축 사업을 결합해 추가 수익을 창출할 계획이다.
요금제는 스탠다드와 엔터프라이즈로 구성된다. 스탠다드는 사용한 만큼 요금을 내는 후불제를 기본으로 선불 크레딧도 지원한다. 엔터프라이즈는 사용량과 이용 기간을 약정하면 할인과 기업 맞춤형 서비스를 제공하는 방식이다.
KT는 토큰팩토리를 기존 기업 AX 사업과 연계해 기업과 공공기관, 금융회사를 중심으로 고객을 확보할 계획이다. 특히 국내 데이터센터에서 직접 AI 모델을 구동하는 환경을 활용해 데이터 처리 위치와 보안 요건이 중요한 산업을 공략한다는 구상이다.
기업용 서비스에 우선 집중한 뒤 내년 3월에는 개인 개발자 대상으로 서비스를 개방하고 구독형 요금제도 선보일 예정이다. 직접 라우팅하는 모델도 10여종까지 늘릴 방침이다.
이 상무는 “토큰팩토리는 단순히 모델을 연결하는 창구가 아니라, KT가 직접 생산하고 유통하고 전달하는 AI 사업의 핵심 축이 될 것”이라며 “앞으로도 생태계를 지속 확장해 국내 기업들이 안전하고 효율적으로 AI를 활용할 수 있도록 하겠다”고 말했다.
