元の声での吹き替えとは
通常のリアルタイム翻訳は、話し手を置き換えます。カットシーンでキャラクターが叫び、俳優が声をひそめてささやき、配信者が話の途中で笑う。それでもヘッドホンに届くのは、意味を読み上げる無機質な合成音声です。言葉は届きますが、演技は届きません。映画やゲームでは、その差こそが見る目的の大半です。
元の声での吹き替えは、その差の一部を埋めます。動画・ゲームモードの受信側で、VoxisLive は今話している人の声をクローンし、その声で翻訳を再現できます。キャラクターは自分の声のまま、あなたの言語で話します。画面から聞こえる音色や話し方のままで、理解できる言葉が届きます。
クローンは1回きりです。話し手の声は1度だけサンプリングされ、そのサンプルがセッションの残りの間ずっと再利用されます。文ごとに作り直されることはありません。セッションのそのほかの部分は変わりません。同じキャプチャ、話し手から数秒遅れて進む同じ同時翻訳、同じ字幕と文字起こしです。
使える場面
3つの条件が同時に満たされる必要があります。1つでも欠けると、セッションは通常の声のまま普通に動作します。何も失敗せず、クローンが使えないだけです。
- 動画・ゲームモード。一方向の、受信側だけの機能です。ミーティングモードでは提供されません。
- 受信側。パソコンですでに再生されている音声、つまり映画、配信、ゲーム、録画が対象です。マイクには適用されません。
- Qwen エンジンにルーティングされる、音声で届く翻訳先。VoxisLive は各翻訳先言語を2つのエンジンのどちらかにルーティングします。クローンは Qwen 側にあり、もう一方のエンジンにルーティングされる翻訳先では通常の翻訳音声になります。
| モード | 方向 | 元の声での吹き替え |
|---|---|---|
| 動画・ゲーム | 受信 — あなたが聞く音声 | Qwen にルーティングされる、音声で届く翻訳先で利用可能 |
| 動画・ゲーム | 受信 — もう一方のエンジンにルーティングされる翻訳先 | 利用不可。通常の翻訳音声 |
| ミーティング | 受信 — 相手からあなたへ | 利用不可（動画・ゲームモードのみ） |
| ミーティング | 送信 — あなたから相手へ | 利用不可。あなたの声はクローンされません |
できないこと
名前から多くの人が最も期待するものが、実は欠けているものなので、はっきり書いておきます。送信側であなた自身の声はクローンされません。会議で相手に聞こえるのは、あなたの言葉を相手の言語で話す翻訳された声であり、あなたの声ではありません。通話に参加して、同僚にあなた自身の声でスペイン語を話しているように聞かせたいと考えていた場合、現時点ではそれはできません。
また、ポストプロダクション用のツールでもありません。VoxisLive が扱うのは、お使いのパソコンでいま再生されているライブ音声です。渡せるファイルや URL はなく、完成した吹き替えトラックが出力されることもありません。お持ちの動画のレンダリング済み吹き替えが必要なら、これは適したツールではありません。ライブで実際に得られるものは動画の翻訳をご覧ください。
- 通話ではあなたの声になりません。送信側はクローンされません。
- ミーティングモードでは、どちらの方向でも使えません。
- すべての翻訳先言語で使えるわけではありません。
- 声の性別の選択とは併用できません（下記参照）。
- ファイル変換ツールではありません。ライブ音声のみです。
隣にある設定：声の性別
吹き替えの隣には、翻訳の聞こえ方を選ぶもう一つの方法があります。設定で方向ごとに指定する声の性別で、自動、女性、男性の3つの値があります。これにもクローンと同じエンジンの境界があります。性別の選択が有効なのは、Qwen エンジンにルーティングされる翻訳先だけです。Gemini にルーティングされる翻訳先には、そのモデルが声の選択をまったく受け付けないため、同等の設定がありません。これらの言語では、適用するふりをせず、アプリがその選択は利用できないと表示します。
これは実際の制約であり、映画の途中で気づくよりここで読んでいただくほうがよいと考えています。Gemini にルーティングされる翻訳先で聞こえる声は、モデルが生成するものそのままです。隠されたものも含め、それを変える切り替えはありません。
両方を同時に使えない理由
声のクローンと、名前を指定した声や性別の選択は、同時に使えません。これはインターフェースの好みの問題ではありません。両方を含むリクエストはプロバイダーに拒否されるため、そのように設定したセッションはまったく開始できないのです。そのためインターフェースでは両者を同時に選べないようにしています。吹き替えをオンにすると性別の選択は使えなくなり、性別を選ぶと吹き替えはオフになります。
理由は、わかってしまえば単純です。クローンは、話し方も含めて話し手自身の声をすでに持っています。クローンされた声を求めたうえで、その声を男性または女性にするよう求めるのは、1つのリクエストの中で矛盾した2つの要求をすることになります。そのため、見ているものに対してどちらが大切かを選びます。俳優自身の声か、ご自身が選んだ一貫した声かです。
目安：フィクションやゲームプレイなど、演技が意味を担うものには吹き替えを使ってください。講義や長いインタビューなど、1時間聞き続けるものには、性別を選んで固定した声のほうが通常は安定します。画面の人物が替わっても声が変わらないからです。
対象の翻訳先言語
ルーティングは翻訳先言語ごとに決まり、ご自身で切り替える設定ではなく、当社側で決めています。VoxisLive は79の翻訳先言語に翻訳します。そのうち Qwen エンジンにルーティングされるものに、クローンと性別の選択があります。翻訳先の完全な一覧と、各言語がどのプランで何の声で話すかは、対応言語のページにあります。
実用的な答えは、アプリ自体で見つかります。翻訳先を選び、設定を開いて、受信側の声のコントロールを確認してください。性別の選択が表示されていれば、Qwen 側にあり、吹き替えも利用できます。その言語では選択が利用できないとアプリに表示される場合は、その翻訳先はもう一方のエンジンにルーティングされており、2つのコントロールはどちらも使えません。
オンにするには
- VoxisLive をインストールして開きます。ダウンロードをご覧ください。
- ミーティングではなく、シナリオの「動画・ゲーム」を選びます。
- 聞きたい言語を選びます。これは翻訳先言語で、話されている言語は自動で判定されます。
- 設定を開き、受信する翻訳の声のクローンを有効にします。
- 吹き替えがオンの間は、受信側の声の性別の選択が使えなくなることを確認してください。これが排他制御で、意図どおりの動作です。
- 「開始」を押し、いつもどおり映画、配信、ゲームを再生します。
翻訳先でこの設定が表示されない場合、その言語はもう一方のエンジンにルーティングされています。ご自身の側でルーティングを変えられるのは、翻訳先言語を変えることだけです。そのほかのこと、キャプチャ、ペース、文字起こしは、仕組みに書かれているとおりに動作します。
期待しすぎないために
吹き替えが変えるのは、どの声があなたに翻訳を読み上げるかです。同時通訳という性質は変わりません。エンジンは、文についてなにか言う前にその文の十分な部分を聞く必要があるため、翻訳は話し手から数秒遅れて届きます。数秒遅れたクローンの声は、やはり数秒遅れています。
また、ライブのセッションをスタジオ品質の制作物に変えるものでもありません。クローンの経路が1つのセッションで扱うクローンの声は1つなので、複数の俳優が登場する場面が、それぞれ別のクローンの声になるわけではありません。完成した複数の声の吹き替えが目的なら、この機能は適していません。購入後に気づかれるより、先にお伝えします。この機能が得意なことは限られていますが、確かにあります。自分が知らない言語で誰かが話しかけてきて、代役ではなく、その人自身の声で聞きたい場合です。