음성 대 음성 번역이란 무엇인가요?
음성 대 음성 번역 — 음성 번역 또는 S2ST라고도 불립니다 — 은 한 언어의 오디오를 입력받아 다른 언어의 오디오로 변환합니다. 입력도 음성이고 출력도 음성입니다. 이는 대부분의 사람들이 아는 번역 방식 — 텍스트를 입력해 결과를 읽거나, 영상 속 자막 한 줄을 훑어보는 방식 — 과의 결정적인 차이입니다.
완전한 S2ST 파이프라인은 세 가지 작업을 수행합니다. 말한 단어를 인식하고, 그 의미를 번역하고, 이를 소리 내어 말하는 새로운 목소리를 합성합니다. VoxisLive는 이 과정을 끊임없이 실행하므로 결과가 원래 화자의 발화 몇 초 뒤에 귀에 도달합니다 — 대화, 강의, 장면을 실시간으로 따라가기에 충분히 가까운 지연입니다. 시선은 게임 화면이나 슬라이드, 말하는 사람에게 그대로 머물러 있습니다.
듣기가 읽기보다 나은 이유
자막은 효과가 있지만 대가를 치릅니다. 시선을 화면 아래로 옮기고, 텍스트를 해석하고, 다시 시선을 되돌리는 과정을 1분에 여러 번 반복해야 합니다. 빠르게 전개되는 장면에서는 영상을 놓치고, 게임에서는 결정적인 순간을 놓치고, 회의에서는 발언자를 보지 못하게 됩니다. 읽기는 보는 행위 위에 덧씌워지는 또 하나의 작업입니다.
음성 번역은 이 작업 자체를 없앱니다. 이해할 수 있는 언어가 스피커를 통해 그대로 흘러나오는 동안 눈에 보이는 모든 것은 그대로 눈앞에 남아 있습니다 — 실시간 행사에서 벽에 스크롤되는 텍스트 대신 이어폰으로 말해 주는 통역사를 쓰는 것과 같은 이유입니다. 원한다면 자막도 여전히 이용할 수 있습니다. 세션이 끝난 후 TXT, SRT, VTT 형식으로 자막을 내보낼 수 있습니다. 자막은 그 순간에 의지하는 수단이 아니라 하나의 기록일 뿐입니다.
네이티브 동시통역
VoxisLive는 Windows WASAPI 프로세스 루프백으로 시스템 오디오를 캡처합니다 — 가상 케이블도, 추가 드라이버도, 통화에 참여하는 봇도 필요 없습니다 — 그리고 자체 출력은 캡처에서 제외하여 방금 만들어 낸 음성을 다시 번역하는 일이 없도록 합니다.
캡처된 음성은 네이티브 동시통역 모델로 전달됩니다. 문장이 끝나기를 기다리는 대신 화자가 말하는 도중에 번역을 시작하고 몇 초 정도만 뒤처져 따라갑니다 — 컨퍼런스 부스 안의 인간 통역사가 일하는 방식과 정확히 같습니다. 이 짧고 일정한 지연이야말로 결과물을 끊기지 않고 실시간처럼 느껴지게 만드는 요소입니다.
두 가지 모드
영상/게임 모드에서는 번역이 단방향으로 이루어집니다. 상대방의 음성이 사용자의 언어로 전달되고, 원본 오디오는 음량이 낮아져 번역 음성이 또렷하게 위에 얹힙니다. 회의 모드에서는 양방향으로 작동합니다. 상대방의 발화는 사용자의 언어로 번역되고, 사용자의 발화는 상대방의 언어로 번역되어 가상 마이크로 전달됩니다 — 참가자 목록에 봇이 표시되는 일은 없습니다.
VoxisLive는 Windows 10과 11에서 실행되며 79개 대상 언어로 말합니다. Microsoft Store에서 받거나, 직접 준비한 키로 GitHub의 무료 오픈소스 빌드를 실행해 보세요.