音声から音声への翻訳とは？
音声から音声への翻訳（音声翻訳とも呼ばれ、S2ST と略されます）は、ある言語の音声を受け取り、別の言語の音声として返します。入力も出力も声です。多くの人が知っている、テキストを入力して結果を読む翻訳や、動画の字幕を目で追う方法とは、この点が決定的に違います。
完全な S2ST のパイプラインは3つのことを行います。話された言葉を認識し、その意味を翻訳し、それを声に出して話す新しい音声を合成します。VoxisLive はこの流れを途切れずに実行するため、結果は元の話し手より数秒遅れて耳に届きます。会話も講義も場面も、リアルタイムで追えるほどの近さです。視線は、ゲームプレイ、スライド、話している人から離れません。
読むより聞くほうが楽な理由
字幕は役に立ちますが、代償があります。視線を画面の下に動かし、文字を読み取り、元に戻す。これを1分間に何度も繰り返すことになります。展開の速い場面では映像を見逃し、ゲームでは決定的な瞬間を逃し、会議では話し手を見ていられなくなります。読むことは、観ることの上に重なる2つ目の作業です。
音声翻訳はその作業をなくします。理解できる言語がスピーカーから届き、目に映るものはすべて目の前に残ります。ライブイベントが、壁に文字起こしを流すのではなく、通訳者の声をイヤホンで届けるのと同じ理由です。字幕が必要な場合も使えます。どのセッションのあとでも、TXT、SRT、VTT の文字起こしをエクスポートできます。それは記録であって、その場で頼るものではありません。
ネイティブの同時通訳モデル
VoxisLive は Windows の WASAPI プロセスループバックでシステム音声を取り込みます。仮想ケーブルも追加のドライバーも、通話に入るボットも不要で、自分自身の出力は除外するため、いま生成した声を再び翻訳することはありません。Linux でもドライバーなしで同じことを行います。VoxisLive が必要に応じて独自の PipeWire 仮想シンクを作成し、翻訳したいアプリをそこへルーティングします。Snap Store から sudo snap install voxis でインストールできます。Snap Store は現在公開されているビルドを配信します。
取り込まれた音声はネイティブの同時通訳モデルに送られます。文が終わるのを待たず、話し手がまだ話している間に翻訳を始め、数秒遅れてついていきます。会議の通訳ブースにいる人間の通訳者の働き方とまさに同じです。この短く一定の遅れが、出力を途切れ途切れではなく、ライブのように感じさせます。
2つのモード
動画・ゲームモードでは翻訳は一方向です。相手の声があなたの言語になり、元の音声は自動で小さくなるため、音声の翻訳がはっきり聞こえます。ミーティングモードは双方向です。相手の話はあなたの言語に翻訳され、あなた自身の話は相手の言語に翻訳されて仮想マイクに送られます。参加者リストにボットは現れません。
VoxisLive は Windows 10・11 と Linux で動作し、79の翻訳先言語を話します。Microsoft Store から入手するか、アプリ内の有料の Bring Your Own Key アンロックで、ご自身の Gemini または Qwen のキーを使うこともできます。仕組みは GitHub をご覧ください。