Шаг 1 — захват звука без драйверов
VoxisLive использует WASAPI loopback — тот же низкоуровневый интерфейс Windows Audio Session API, с помощью которого программы для записи экрана захватывают «то, что сейчас играет». Это встроенная возможность Windows: никаких виртуальных аудиокабелей, установки драйверов и изменений в маршрутизации звука. Захват не вносит задержки относительно воспроизведения и не добавляет слышимых искажений.
Конкурирующие инструменты обычно пропускают звук через виртуальные устройства вроде VB-CABLE, для которых нужна установка драйверов (часто с правами администратора и перезагрузкой) и которые могут конфликтовать с эксклюзивным режимом звука, драйверами ASIO или античит-системами. VoxisLive полностью обходит этот класс проблем.
Шаг 2 — определение речи на устройстве
Приложение запускает определение голосовой активности (VAD) прямо на устройстве, чтобы отделить речь от тишины, фонового шума и музыки — локально, на вашем процессоре, без обращения к сети. К переводу переходят только фрагменты, распознанные как человеческая речь: это сокращает задержку и экономит ваш баланс минут. VAD также отслеживает собственную озвучку VoxisLive, чтобы приложение никогда не переводило свой же голос повторно.
Шаг 3 — синхронный перевод за один проход
Фрагменты речи передаются в мультимодальную модель реального времени, которая выполняет распознавание, перевод и синтез голоса за один проход с малой задержкой — вместо трёх последовательных сетевых запросов традиционного конвейера (речь в текст → перевод → текст в речь) остаётся один. Как живой переводчик в кабинке, она начинает переводить, пока говорящий ещё не закончил.
Шаг 4 — озвучка с приглушением оригинала
Переведённый голос воспроизводится через ваше устройство вывода, а параллельно происходят две вещи: психоакустическое приглушение снижает громкость оригинала, пока звучит перевод (как при профессиональном синхронном переводе), а синхронизация задержки удерживает каждый перевод в соответствии с его фрагментом речи, поэтому в долгих сессиях рассинхрона не накапливается.
Архитектура и документация по стандартам
Движок VoxisLive построен на открытых стандартах и корпоративных ИИ-спецификациях. Прочитайте документацию, на которой он основан:
- Захват WASAPI Loopback: построен на Microsoft Core Audio APIs (WASAPI) для захвата системного звука без драйверов.
- Google Gemini Live API: перевод в реальном времени по WebSocket на базе API Gemini Live в Google AI Studio.
- Alibaba Qwen Realtime API: потоковый перевод в реальном времени на базе API Qwen Realtime в Alibaba Cloud DashScope.
- VAD и определение смены говорящего на устройстве: определение речи и метки смены говорящего работают локально на CPU-моделях sherpa-onnx на C++. Метки показывают, когда голос меняется, — они не определяют, кто говорит, и им нельзя присвоить имя.
