原音色配音能做什么
普通的实时翻译取代了说话人。角色在过场动画里大喊,演员压低声音耳语,主播在句子中间笑出声——而传到您耳机里的,是一个中性的合成声音在向您复述含义。话语到了,表演却没有到。而对于电影或游戏来说,缺失的这部分恰恰是您观看它们的主要目的。
原音色配音弥补了其中一部分。在视频与游戏模式下,在传入方向上,VoxisLive 可以克隆当前说话者的声音,并用这个声音说出译文。角色保留自己的声音,说着您的语言:您在屏幕上听到的音色和语气,承载着您听得懂的话。
克隆是一次性的。说话人的声音只采样一次,这份样本会在本次会话的其余时间里重复使用,而不是每一句话都重新生成。会话的其他一切都不变——同样的音频捕获,同样比原声慢几秒的同声传译,同样的字幕和转写记录。
适用范围
三个条件必须同时满足。缺少任何一个,会话都会正常运行并使用通用声音——不会出任何故障,只是您得不到克隆。
- 视频与游戏模式。这是一个单向、仅限传入方向的功能,会议模式中不提供。
- 传入方向。它作用于您的电脑已经在播放的音频——电影、直播、游戏、录音。它从不作用于您的麦克风。
- 路由到 Qwen 引擎、且能以语音播放的目标语言。VoxisLive 会把每种目标语言路由到两个引擎之一。克隆存在于 Qwen 这条路径上;路由到另一个引擎的目标语言,使用的是普通的翻译语音。
| 模式 | 方向 | 原音色配音 |
|---|---|---|
| 视频与游戏 | 传入——您听到的内容 | 在路由到 Qwen、可语音播放的目标语言上可用 |
| 视频与游戏 | 传入——目标语言路由到另一个引擎 | 不可用;使用普通的翻译语音 |
| 会议 | 传入——对方对您说的话 | 不可用(仅限视频与游戏模式) |
| 会议 | 传出——您对对方说的话 | 不可用;您的声音不会被克隆 |
它不是什么
人们从这个名字最常期待的东西,恰恰是它所缺少的,所以不妨直说:您自己的声音在传出方向上不会被克隆。在会议中,对方听到的是一个翻译声音以他们的语言说出您的话,而不是您的声音。如果您希望加入通话后,让同事用您自己的声音听到您说西班牙语,目前这个功能做不到。
它也不是后期制作工具。VoxisLive 处理的是您的电脑此刻正在播放的实时音频;没有可以交给它的文件或网址,最后也不会输出一条做好的配音音轨。如果您想要的是您自己拥有的视频的成品配音,这个工具并不合适——实时翻译这条路径实际能提供什么,请参阅视频翻译。
- 不是通话中的您自己的声音——传出方向从不克隆。
- 会议模式中不可用,两个方向都不可用。
- 并非所有目标语言都可用。
- 不能与语音性别选择同时使用(见下文)。
- 不是文件转换器——只处理实时音频。
与它并列的控制项:语音性别
配音旁边,是另一种选择译文声音的方式:语音性别设置,有三个值——自动、女声、男声——在“设置”中按方向分别设定。它与克隆有着同样的引擎边界。性别选择只对路由到 Qwen 引擎的目标语言有效;路由到 Gemini 的目标语言没有对应的设置,因为该模型根本不接受声音选择。在这些语言上,应用会说明该选择不可用,而不是假装应用了它。
这是一个真实的限制,我们宁愿让您在这里读到,也不愿让您看电影看到一半才发现:在路由到 Gemini 的目标语言上,您听到的就是模型自己产生的声音。没有任何开关,无论公开的还是隐藏的,能改变它。
为什么不能两者同时使用
声音克隆与指定声音或性别选择不能同时使用。这并不是界面偏好的问题——同时带有两者的请求会被提供方拒绝,按这样配置的会话根本无法启动。因此界面把两者设为互斥:开启配音,性别选择就不再生效;选择了性别,配音就会关闭。
道理一看就明白。克隆本身已经带有说话人自己的声音,包括语气。要求一个克隆出来的声音,再要求这个声音是男声或女声,等于在一个请求里提出了两个相互矛盾的问题。所以您需要决定,对于您正在观看的内容,哪个更重要:演员自己的声音,还是您选定的、始终如一的声音。
经验法则。剧情类内容、游戏过程,以及表演本身承载意义的内容:使用配音。讲座、长篇访谈,或任何要连续听上一小时的内容:固定的、指定性别的声音通常更稳定,因为它不会随着屏幕上的人变化而变化。
哪些目标语言可用
路由是按目标语言决定的,并且由我们这一侧决定,而不是由您拨动某个设置来决定。VoxisLive 可翻译成 79 种目标语言;路由到 Qwen 引擎的那一部分,就是存在克隆和性别选择的地方。完整的目标语言列表,以及每种语言在哪个方案下用什么声音播放,见支持的语言页面。
实用的答案就在应用本身:选好目标语言,打开“设置”,查看传入方向的语音控制项。如果提供性别选择,说明您走的是 Qwen 这条路径,配音同样可用。如果应用提示该语言不提供性别选择,则说明目标语言被路由到了另一个引擎,两个控制项都不可用。
如何开启
- 安装并打开 VoxisLive——请参阅下载。
- 选择“视频与游戏”场景,而不是“会议”。
- 选择您想听的语言。这是一种目标语言;所说的语言会被自动识别。
- 打开“设置”,为传入方向的译文启用声音克隆。
- 请注意,开启配音期间,传入方向的语音性别选择会变为不可用。这正是互斥机制在按设计生效。
- 按下“开始”,然后像平常一样播放电影、直播或游戏。
如果您的目标语言没有提供这项设置,说明该语言被路由到了另一个引擎。更换目标语言,是您这一侧唯一能改变路由的办法。其他一切——捕获、节奏、转写记录——都与工作原理中的描述完全一致。
如实说明预期
配音改变的是由哪个声音向您读出译文。它不会改变同声传译的本质:译文仍然比原声慢几秒到达,因为引擎必须先听到一句话的足够内容,才能把它说出来。克隆的声音晚几秒,仍然是晚几秒。
它也不会把实时会话变成录音棚级的成品。克隆路径在一次会话中只带有一个克隆的声音,所以有多位演员的场景,不会变成多个各自独立的克隆声音。如果您的目标是一份完成的多声音配音,这个功能不是为此设计的——我们宁愿直说,也不愿让您买了之后才发现。它擅长的事情很窄,却是真实的:有一个人正在用您不懂的语言对您说话,而您希望听到的是他本人,而不是替身。