일레븐 리얼타임은 음성을 입력받아 음성으로 응답하는 음성 대 음성(STS) 모델이다. 빠르고 자연스러운 대화에 초점을 맞춘 ‘v1 미니’와 복잡한 업무 처리에 적합한 ‘v1 맥스’ 두 가지로 제공한다.
|
두 모델 모두 한국어와 일본어 등 90개 이상의 언어를 지원한다. 일레븐랩스 음성 라이브러리에 있는 1만7000개 이상 목소리 가운데 원하는 음성을 선택할 수 있다. 대화 도중 사용자가 끼어들었을 때 대응하고 외부 도구를 호출해 정보를 조회하거나 작업을 수행하는 기능도 갖췄다.
v1 미니는 AI 비서와 교육용 튜터, 게임·엔터테인먼트 캐릭터 등에 활용할 수 있다. v1 맥스는 정해진 절차에 따라 정보를 확인하는 고객 지원이나 잠재 고객 선별, 여러 단계의 도구 호출이 필요한 업무에 적합하다. 이용자는 모델 선택을 바꿔 두 모델을 전환할 수 있다.
회사 측에 따르면 v1 맥스는 지난달 아티피셜 애널리시스의 음성 추론 평가 ‘빅 벤치 오디오’에서 정답률 98.8%를 기록했다. 질문이 끝난 뒤 응답을 시작하기까지 걸린 시간은 0.57초였다. 침묵과 대화 차례 전환, 끼어들기, 맞장구 대응 등을 평가하는 ‘풀 듀플렉스 벤치’에서는 v1 미니가 95.8%, v1 맥스가 94.1%를 기록했다.
서비스는 음성·채팅 에이전트 플랫폼 ‘일레븐 에이전트’와 리얼타임 API를 통해 제공한다. 일레븐 에이전트에서는 모델 선택 메뉴에서 일레븐 리얼타임을 지정해 사용할 수 있으며, 전화·웹사이트·컨택센터 등으로 배포할 수 있다. 기존 워크플로우와 지식베이스, 안전장치, 테스트·모니터링 기능도 활용할 수 있다.
리얼타임 API는 오픈AI 리얼타임 API와 호환되며 웹소켓 방식으로 연결한다. 출시 시점에는 웹RTC를 지원하지 않는다.
일레븐랩스 관계자는 “한국어를 포함한 90개 이상의 언어를 지원하는 일레븐 리얼타임을 통해 한국 기업과 개발자가 고객과 자연스럽게 대화하는 음성 에이전트를 구축할 수 있도록 지원해 나갈 계획”이라고 밝혔다.
