Mistral Voxtral 3, 듣고 판단하며 업무 도구를 쓰는 음성 AI

프랑스 AI 기업 Mistral AI가 10월 20일 Voxtral 3를 발표했다. 말을 글로 바꾸는 전사 모델, 글을 소리로 읽는 음성 합성 모델, 이를 언어 모델과 연결하는 음성 에이전트 SDK를 함께 제공한다. SDK는 개발자가 음성 입출력과 대화 처리를 앱에 붙일 수 있게 만든 도구다. 사용자의 말을 듣고 답하는 데서 더 나아가, 대화 중 연결된 업무 시스템을 조회하거나 작업을 실행하는 서비스를 만들 수 있다. 공식 발표

그림은 주문 조회를 연결했을 때의 처리 흐름이다. 어떤 정보를 조회하고 어떤 작업까지 허용할지는 서비스를 만드는 쪽이 정한다.

듣기·판단·말하기를 나눠 연결한다

실시간 전사 모델이 소리를 글로 바꾸면, Mistral Small 같은 언어 모델이 대화 내용을 읽고 다음 행동을 고른다. 필요한 정보가 없으면 도구를 호출하고, 돌아온 결과로 답변을 만들어 음성 합성 모델에 넘긴다. 음성 기능과 답변을 판단하는 모델이 분리돼 있어, 서비스에 맞게 각 단계를 선택할 수 있다. 음성 에이전트 구조

예를 들어 웹 고객센터에서 주문 번호를 말하면, 개발자가 연결한 조회 함수가 배송 상태를 가져오는 식이다. 함수는 정해진 입력을 받아 프로그램의 작업을 수행하는 코드다. SDK에 함수의 이름·설명·입력 형식을 알려주면 언어 모델이 언제 요청할지 판단하고, 실제 조회는 앱의 코드가 처리한다. 사내 문서 검색이나 업무 서비스 연결도 도구로 제공할 수 있다. 도구 연결 방식

전화 상담은 연결 조건이 다르다. 현재 문서상 전화 기능은 기업 고객이 담당 팀과 설정해야 하며, 수신 통화만 지원한다. 전화 세션에서는 앱 안에서 실행하는 조회 함수를 쓸 수 없어 서버 측 도구로 구성해야 한다. 상담원에게 통화를 넘기는 기능도 현재 지원하지 않아, 처리 범위를 벗어난 문의의 후속 절차는 별도로 마련해야 한다. 전화 연결과 현재 한계

이름을 알아듣고 말이 끝났는지 판단한다

음성 인식에서 낯선 상품명이나 사람 이름은 비슷한 소리의 다른 단어로 기록되기 쉽다. Voxtral 3의 문맥 편향 기능은 예상되는 용어와 녹음의 배경을 함께 보내 전사를 유도한다. 모델을 다시 학습시키는 대신, 이번 요청에서 중요하게 들을 단서를 주는 방식이다. 용어 목록도 오디오와 함께 입력 한도를 사용하므로 필요한 이름과 설명을 골라 넣어야 한다. 용어와 문맥 전달

화자 구분은 누가 어떤 구간을 말했는지 나누는 기능이다. 파일 전사 문서는 구간별 시간 정보와 화자 표시를 지원하며, 단어별 시간 정보는 현재 제공하지 않는다고 안내한다. 회의 녹음에서 발언 구간을 찾거나 상담 기록을 정리할 때 쓸 수 있다. 다만 녹음을 통째로 보낸 뒤 결과를 조금씩 받는 방식과, 들어오는 소리를 계속 처리하는 실시간 전사는 구분해야 한다. 파일 전사와 출력 형식

대화에서는 잠깐의 침묵을 발언 종료로 오인하지 않는 것도 중요하다. 종료 감지를 너무 빠르게 설정하면 사용자가 말을 잇기 전에 답을 시작할 수 있다. 반대로 오래 기다리면 대화가 느려진다. 전사 모델 자체의 처리 시간에 통신·답변 생성·도구 조회·음성 재생까지 더해지므로, 전사 지연이 짧다는 수치가 상담 전체의 응답 시간을 뜻하지는 않는다. 대기 시간의 구성

빠르게 받아쓸수록 정확도와 맞바꾼다

회사의 FLEURS 35 평가에서 전사를 기다리는 시간을 늘리자 오류율이 낮아졌다. 뒤따르는 소리를 더 들으면 앞서 나온 말을 판단할 문맥이 늘어나기 때문이다. 실시간 자막은 늦게 나오는 정확한 문장과 즉시 보이는 문장 사이에서 설정을 고르고, 음성 상담은 발언 종료 감지까지 함께 조정해야 한다.

이 결과는 여러 언어의 평균이어서 한국어 상담만의 정확도를 보여주지 않는다. 같은 대기 설정이라도 이름·숫자·배경 소음에 따라 결과가 달라질 수 있다. 공식 지연 문서는 같은 녹음·네트워크·지역 조건에서 반복 측정하고, 보통의 응답뿐 아니라 오래 걸린 응답과 끼어들기 오류도 함께 확인하도록 권한다. 속도와 정확도 평가 방법

지금 사용할 수 있는 기능과 비용

현재 모델 문서는 Voxtral Small Transcribe 3와 Mini Transcribe Realtime 3를 공개 프리뷰로 안내한다. API는 앱이 오디오를 보내고 결과를 받는 연결 방식이며, Studio에서는 음성 기능을 시험할 수 있다. 실시간 전사는 분당 0.008달러, Small 파일 전사는 분당 0.004달러로 표기돼 있다. 이 요금은 각각의 전사 모델 비용이며 언어 모델과 음성 합성까지 포함한 전체 상담 비용으로 계산하면 안 된다. 실시간 모델 조건 · Small 모델 조건

음성 합성은 준비된 목소리나 복제한 목소리로 글을 읽고, 감정·속도 태그와 발음 지정을 지원한다. 다만 문장으로 전체 말투를 지시하는 기능은 현재 문서상 출시 시점에 제공되지 않는다. 발표문과 TTS 모델 카드에는 지원 언어 수가 서로 다르게 적혀 있어, 실제 사용할 모델과 계정의 적용 조건을 확인해야 한다. 합성 기능의 제공 범위 · TTS 모델 카드

Mistral은 자체 서버나 사설 클라우드 배포도 회사에 문의하도록 안내한다. 따라서 도입할 때는 음성 품질과 함께 대화를 어디서 처리할지, 어떤 업무 도구에 연결할지까지 정해야 한다. 전사·판단·음성 출력을 각각 조정하는 구조는 이런 조건에 맞춰 음성 서비스를 구성하는 데 의미가 있다. 제공 방식