原音色配音

角色保留自己的声音——用您的语言说话。

在视频与游戏模式下,VoxisLive 可以克隆您正在收听的那个人的声音,并用这个声音说出译文,而不是用通用声音。它只作用于传入方向,只适用于路由到 Qwen 引擎的目标语言,并且不能与语音性别选择同时使用。

原音色配音能做什么

普通的实时翻译取代了说话人。角色在过场动画里大喊,演员压低声音耳语,主播在句子中间笑出声——而传到您耳机里的,是一个中性的合成声音在向您复述含义。话语到了,表演却没有到。而对于电影或游戏来说,缺失的这部分恰恰是您观看它们的主要目的。

原音色配音弥补了其中一部分。在视频与游戏模式下,在传入方向上,VoxisLive 可以克隆当前说话者的声音,并用这个声音说出译文。角色保留自己的声音,说着您的语言:您在屏幕上听到的音色和语气,承载着您听得懂的话。

克隆是一次性的。说话人的声音只采样一次,这份样本会在本次会话的其余时间里重复使用,而不是每一句话都重新生成。会话的其他一切都不变——同样的音频捕获,同样比原声慢几秒的同声传译,同样的字幕和转写记录。

适用范围

三个条件必须同时满足。缺少任何一个,会话都会正常运行并使用通用声音——不会出任何故障,只是您得不到克隆。

  • 视频与游戏模式。这是一个单向、仅限传入方向的功能,会议模式中不提供。
  • 传入方向。它作用于您的电脑已经在播放的音频——电影、直播、游戏、录音。它从不作用于您的麦克风。
  • 路由到 Qwen 引擎、且能以语音播放的目标语言。VoxisLive 会把每种目标语言路由到两个引擎之一。克隆存在于 Qwen 这条路径上;路由到另一个引擎的目标语言,使用的是普通的翻译语音。
模式方向原音色配音
视频与游戏传入——您听到的内容在路由到 Qwen、可语音播放的目标语言上可用
视频与游戏传入——目标语言路由到另一个引擎不可用;使用普通的翻译语音
会议传入——对方对您说的话不可用(仅限视频与游戏模式)
会议传出——您对对方说的话不可用;您的声音不会被克隆

它不是什么

人们从这个名字最常期待的东西,恰恰是它所缺少的,所以不妨直说:您自己的声音在传出方向上不会被克隆。在会议中,对方听到的是一个翻译声音以他们的语言说出您的话,而不是您的声音。如果您希望加入通话后,让同事用您自己的声音听到您说西班牙语,目前这个功能做不到。

它也不是后期制作工具。VoxisLive 处理的是您的电脑此刻正在播放的实时音频;没有可以交给它的文件或网址,最后也不会输出一条做好的配音音轨。如果您想要的是您自己拥有的视频的成品配音,这个工具并不合适——实时翻译这条路径实际能提供什么,请参阅视频翻译。

  • 不是通话中的您自己的声音——传出方向从不克隆。
  • 会议模式中不可用,两个方向都不可用。
  • 并非所有目标语言都可用。
  • 不能与语音性别选择同时使用(见下文)。
  • 不是文件转换器——只处理实时音频。

与它并列的控制项:语音性别

配音旁边,是另一种选择译文声音的方式:语音性别设置,有三个值——自动、女声、男声——在“设置”中按方向分别设定。它与克隆有着同样的引擎边界。性别选择只对路由到 Qwen 引擎的目标语言有效;路由到 Gemini 的目标语言没有对应的设置,因为该模型根本不接受声音选择。在这些语言上,应用会说明该选择不可用,而不是假装应用了它。

这是一个真实的限制,我们宁愿让您在这里读到,也不愿让您看电影看到一半才发现:在路由到 Gemini 的目标语言上,您听到的就是模型自己产生的声音。没有任何开关,无论公开的还是隐藏的,能改变它。

为什么不能两者同时使用

声音克隆与指定声音或性别选择不能同时使用。这并不是界面偏好的问题——同时带有两者的请求会被提供方拒绝,按这样配置的会话根本无法启动。因此界面把两者设为互斥:开启配音,性别选择就不再生效;选择了性别,配音就会关闭。

道理一看就明白。克隆本身已经带有说话人自己的声音,包括语气。要求一个克隆出来的声音,再要求这个声音是男声或女声,等于在一个请求里提出了两个相互矛盾的问题。所以您需要决定,对于您正在观看的内容,哪个更重要:演员自己的声音,还是您选定的、始终如一的声音。

经验法则。剧情类内容、游戏过程,以及表演本身承载意义的内容:使用配音。讲座、长篇访谈,或任何要连续听上一小时的内容:固定的、指定性别的声音通常更稳定,因为它不会随着屏幕上的人变化而变化。

哪些目标语言可用

路由是按目标语言决定的,并且由我们这一侧决定,而不是由您拨动某个设置来决定。VoxisLive 可翻译成 79 种目标语言;路由到 Qwen 引擎的那一部分,就是存在克隆和性别选择的地方。完整的目标语言列表,以及每种语言在哪个方案下用什么声音播放,见支持的语言页面。

实用的答案就在应用本身:选好目标语言,打开“设置”,查看传入方向的语音控制项。如果提供性别选择,说明您走的是 Qwen 这条路径,配音同样可用。如果应用提示该语言不提供性别选择,则说明目标语言被路由到了另一个引擎,两个控制项都不可用。

如何开启

  1. 安装并打开 VoxisLive——请参阅下载。
  2. 选择“视频与游戏”场景,而不是“会议”。
  3. 选择您想听的语言。这是一种目标语言;所说的语言会被自动识别。
  4. 打开“设置”,为传入方向的译文启用声音克隆。
  5. 请注意,开启配音期间,传入方向的语音性别选择会变为不可用。这正是互斥机制在按设计生效。
  6. 按下“开始”,然后像平常一样播放电影、直播或游戏。

如果您的目标语言没有提供这项设置,说明该语言被路由到了另一个引擎。更换目标语言,是您这一侧唯一能改变路由的办法。其他一切——捕获、节奏、转写记录——都与工作原理中的描述完全一致。

如实说明预期

配音改变的是由哪个声音向您读出译文。它不会改变同声传译的本质:译文仍然比原声慢几秒到达,因为引擎必须先听到一句话的足够内容,才能把它说出来。克隆的声音晚几秒,仍然是晚几秒。

它也不会把实时会话变成录音棚级的成品。克隆路径在一次会话中只带有一个克隆的声音,所以有多位演员的场景,不会变成多个各自独立的克隆声音。如果您的目标是一份完成的多声音配音,这个功能不是为此设计的——我们宁愿直说,也不愿让您买了之后才发现。它擅长的事情很窄,却是真实的:有一个人正在用您不懂的语言对您说话,而您希望听到的是他本人,而不是替身。

方案和分钟数见价格;更完整的功能列表见功能。

常见问题

常见问题

01角色真的保留了自己的声音,还是只是模仿?
它是根据您正在播放的音频中的声音克隆出来的,用来说出译文。这是一个以该说话人为模型的合成声音,而不是在原始录音里换上新词——来源音频本身不会被做任何编辑。听起来有多接近,取决于来源素材。
02我能在 Zoom 或 Teams 会议中使用它,让对方听到我自己的声音吗?
不能。克隆只在视频与游戏模式的传入方向上运行,您自己的声音在传出方向上不会被克隆。在会议中,其他参会者听到的是一个翻译声音以他们的语言说出您的话,而不是您的声音。
03为什么开启配音后,女声/男声的选择就不能用了?
因为声音克隆与指定声音或性别选择不能同时使用——同时带有两者的请求会被提供方拒绝,所以应用把两者设为互斥,而不是让会话在启动时失败。请二选一:说话人被克隆的声音,或您选择的性别。
04我的目标语言完全没有性别选项,是出故障了吗?
没有。性别选择只对路由到 Qwen 引擎的目标语言有效;路由到 Gemini 的目标语言没有对应的功能,因为该模型不接受声音选择。在这些语言上,您听到的是模型自己产生的声音,同时也不提供配音。
05每一句话都会重新克隆声音吗?
不会。克隆是一次性的:声音只采样一次,这份样本会在本次会话的其余时间里重复使用,而不是逐句重新生成。
06我能指定一个视频文件或网址,得到一份配好音的副本吗?
不能。VoxisLive 翻译的是您的电脑正在播放的实时音频,不会生成配音文件。您在视频播放的同时听到译文;之后能保留下来的是转写记录,而不是配音的音轨。