第 1 步——音频捕获,无需驱动
VoxisLive 使用 WASAPI 环回——这是 Windows 底层的音频会话 API(Windows Audio Session API),录屏软件也用它来捕获“正在播放的声音”。这是 Windows 的原生能力:无需虚拟音频线,无需安装驱动,也不用更改音频路由。捕获与播放之间没有延迟,也不会产生可听见的杂音。
同类工具通常把音频路由到 VB-CABLE 之类的虚拟设备,这需要安装驱动(往往要管理员权限并重启),还可能与独占模式音频、ASIO 驱动或反作弊系统冲突。VoxisLive 完全避开了这类问题。
第 2 步——设备端语音检测
应用在设备端运行语音活动检测(VAD),把语音与静音、背景噪声和音乐区分开——在您的 CPU 上本地完成,无需经过网络往返。只有被识别为人声的片段才会进入翻译,这样既降低延迟,也能保护您的分钟余额。VAD 还会跟踪 VoxisLive 自己播放的语音,因此不会把自己的声音再翻译一遍。
第 3 步——一次完成的同声传译
语音片段会送入一个多模态实时模型,由它在一次低延迟处理中完成识别、翻译和语音合成——把传统流程中依次进行的三次网络调用(语音转文字 → 翻译 → 文字转语音)合并为一次。就像同声传译间里的人工口译员,说话人还在讲,它就已经开始翻译。
第 4 步——带原声压低的语音播放
译文语音通过您的输出设备播放,同时有两件事并行进行:基于心理声学的原声压低会在译文播放时调低原声(与专业同声传译的做法一致),延迟同步则让每段译文与对应的语音片段保持对齐,因此长时间使用也不会错位。
架构与标准文档
VoxisLive 的引擎基于开放标准和企业级 AI 规范构建。请查阅底层文档:
- WASAPI 环回捕获:基于 Microsoft Core Audio APIs(WASAPI) 构建,实现无需驱动的系统音频捕获。
- Google Gemini Live API:由 Google AI Studio 的 Gemini Live API 提供支持的实时 WebSocket 翻译。
- Alibaba Qwen Realtime API:由 Alibaba Cloud DashScope 的 Qwen Realtime API 提供支持的实时流式翻译。
- 设备端 VAD 与说话人切换检测:语音检测和说话人切换标注都在本地运行,基于 sherpa-onnx C++ CPU 模型。这些标签只标出声音何时发生变化——并不识别是谁在说话,也无法为其命名。
