AAMTジャーナル「機械翻訳」No. 83 低遅延かつ高頑健な音声翻訳に向けた研究と応用
1. はじめに
本稿では、博士論文「Optimizing Speech Translation for Low Latency and High Robustness」[1]の内容を概説する。本研究は、実環境での利用を想定した音声翻訳（Speech Translation; ST）システムにおいて、低遅延と高頑健性を両立させることを目的としたものである。特に同時音声翻訳（Simultaneous Speech Translation; SimulST）におけるデータミスマッチの課題に注目し、人間の同時通訳（Simultaneous Interpretation; SI）データを活用する新たな学習枠組みを提案した。本稿に示す図表および実験結果は、博士論文および公聴会での発表資料から引用したものである。
1.1. はじめに
グローバル化の進展に伴い、言語の壁を越えたリアルタイムのコミュニケーションが強く求められている。音声翻訳（Speech Translation; ST）は、原言語の発話を他の目的言語のテキストや音声に翻訳する技術であり、国際会議やオンライン講義、ライブ配信など多様な場面での応用が期待されている。しかし実環境におけるSTには、以下のような課題が存在する。
- 自発発話への対応：日常会話や討論では、フィラーや言い直しといった非流暢性が頻出し、翻訳品質を大きく低下させる要因となる。
- 低遅延性の実現：人間の音声コミュニケーションは逐次的であり、文末まで待つOffline翻訳（Offline ST）では不自然な遅延が生じる。実用的なSTには低遅延性が必須である。
本研究は、これらの課題を統合的に解決し、低遅延かつ高頑健な音声翻訳を実現することを目的とする。図1にOffline STとSimulSTの違いを示す。
図 1 Offline STとSimulST
1.2. 背景と研究目的
1.2.1. Prepared speech とSpontaneous speech
従来の研究は、台本などをあらかじめ準備された発話（prepared speech）を対象とすることが多かった。しかし実環境の大半は自発発話（spontaneous speech）であり、言いよどみやフィラーといった非流暢性を含む場合が多い。これらは翻訳品質の低下を招く要因となる。
1.2.2. Offline ST と Simul ST
Offline STでは文末まで待ってから文全体を見て翻訳が行われるため高品質な翻訳を生成できるが、遅延が大きくなる。一方、SimulSTは話し手が話し終わるのを待たずに翻訳が進められるため低遅延を実現できる。しかし、現在のほとんどのSimulSTモデルはOfflineデータで学習されており、その結果SIタスク特有のスタイルでの訳出が必要な言語間の語順の違いへの対応や省略の必要性が出る場合に、OfflineとSIの間で訳出方法の不一致が生じ、性能が低下するデータミスマッチの問題が起こりうる。
1.3. 研究目的とアプローチ
本研究では、以下の三点からアプローチを行なった。
A. ASR事後確率を活用した曖昧性処理によるSTモデルの頑健性の向上
B. 非流暢性を含む発話を流暢なテキストへ変換するDisfluent-to-Fluent翻訳
C. 同時通訳（SI）データを活用したSimulSTのための学習手法
本稿ではCのSIデータを用いた低遅延なSimulSTに関する研究について解説する。
2. 同時通訳データを用いた同時音声翻訳
2.1. 概要
SimulSTは、話者の発話が完了するのを待たずに翻訳を生成する技術であり、話し手の発話が終わるのを待ってから翻訳を開始するOffline STのように高品質な翻訳を求められるのみでなく、できるだけ早く聞き手に情報を伝える低遅延な翻訳が求められる。近年ではニューラルネットワークに基づくOffline ST、およびSimulSTの研究が進められてきている。SimulSTでは人間の同時通訳を模した同時通訳タスクを機械によって実現する試みが行われているため、実際の通訳者の訳出をもとにしたSIデータを用いた学習が理想とされる。しかしながら、モデルの学習に利用できるSIデータは少量であり、現在のほとんどのSimulST [2,3] はOffline STと同様に、主にMuST-C [4]（TEDの字幕データ）などのような比較的多量に用意可能なデータによってモデルの学習がなされる。実際の人間の通訳においては、通訳者は話し手から次々と話される発話に追従しながら訳出を進めるために、優先度の低い内容の省略や、話し手の発話内容をできるだけ早く訳出し聞き手に伝える技法を取り入れている。そのため、より現実の同時通訳タスクに近い形で品質を保ちつつ低遅延なSimulSTを実現するには、実際に人間の通訳をベースにしたSIデータを利用し、通訳者がどのように通訳を行なっているかをモデルに対して学習させることが効果的だと考えられる。
2.2. OfflineとSIのスタイルの違いについて
図2 OfflineとSIのスタイルの違い (例文はNAIST-SIC-Aligned-ST [10]より)
- Offline
- 原言語側の内容に対応するもののほとんどが目的言語側でも存在している
- 流暢性と品質が優先されるが、原言語側の前半に対応する部分が目的言語側では後半で出力され、高遅延の訳出になる可能性
- SI
- 原言語側の内容に対応するもの目的言語側ではない場合もあり、適宜省略されている
- 流暢性と品質が犠牲になる場合もあるが、原言語側の内容に対応する部分が目的言語側ではできるだけ早く訳出され、低遅延の訳出を実現できる
この例文からも、SI タスクにおいては話し手の話す内容に追いつけるように適宜省略を行いながら、対応する内容を、話されたからできるだけ時間をかけずに翻訳するタスクを通訳者が行なっていることがわかる。
そのため、SI データを用いたSimulST のモデルの学習により、より通訳者が行うSI タスクのスタイルに近い出力を低遅延で実現できることが期待される。
2.3. 少量のSI データをFine-tuning する場合に起きる過学習の課題
先行研究では英日の言語対でのSI データが作成されてきたものの [5-8]、Offline データと比較して極めて少量であり、モデルの学習に利用することが難しい背景があった。SimulST モデルの学習の際には、大規模データで事前学習された事前学習済みモデルに対してFine-tuning する学習方法がまず考えられる。しかしながら、多量のOffline データで学習された事前学習済みモデルに対して、少量のSI データを直接Fine-tuning させると、過学習の問題が起きやすいという課題がある。
過学習が起きると、例えば、SI データの出力長がOfflineデータと比較して短い上に、明示的な省略の学習ができず、省略するべき部分とそうでない部分の違いを考慮せず過剰に不適切な省略をしてしまうモデルが作成される恐れがある。この課題を克服するために、本研究では新たな学習枠組みを提案する。
2.4. 課題提案手法：スタイルタグ付き混合学習
本研究では、該当するテキスト出力がSI スタイルかOffline スタイルのどちらなのか、テキストの先頭にprefix としてスタイルタグを明示的に付与した混合データを用意し、単一のSimulST モデルを学習する手法を提案した。この手法は先行研究[9]における少量のindomainデータと多量に用意可能なout-domain データを用いたFine-tuning の手法から着想を得ている[9]。スタイルタグの付与により、それぞれのスタイルの出力をモデルが選択して生成するようデコード時にモデルに対して指示を与えることができる。
図 3 タグ付き混合データでのFine-tuning
学習時には、図3 に示すように、学習データにスタイルタグを付与した混合データを用いて、事前学習済みモデルのFine-tuning を行う。この際、Offline データには＜off＞ 、SI データには という＜si＞タグをそれぞれのテキストの文頭に付与している。出力時は希望するスタイルのタグを与えてforced decoding を行うことで、そのスタイルの出力を得ることができ、この仕組みによりモデルは入力に応じて出力スタイルを切り替えることが可能となる。これにより、流暢性と品質を重視するOffline タスクと、品質を保ちつつ同時性を重視するSI タスクを一つのSimulST モデルで実現できる。
2.5. 提案手法：タグ付き混合学習とマルチステージ自己学習
図 4 Multi-stage Fine-tuning
また本研究では、メインの提案手法であるスタイルタグ付き混合学習に加えて、手法により一度作成されたモデルを用いて生成された擬似SI データをさらに次
の学習に用いる自己教師あり学習を多段階に行う手法を考える。これにより、SI データが少量である課題をさらに軽減できる。図4 にマルチステージ自己学習の概要を示す。まず、以上手法により提案モデルを学習する。その後、このモデルにOfflineデータの原言語音声を入力し、推論時にSIタグ＜si＞を用いて出力させる。生成された翻訳を擬似SIデータとして再学習に利用する。この過程を多段階的に繰り返すことで、モデルはオリジナルの少量のSIデータのみでなく、擬似SIデータも学習の過程で生成しつつ、学習に用いることで、データ少量の問題を軽減しつつ、効率的なSimulSTモデルの学習を期待できる。
2.6. 実験設定
本研究では、原言語音声・原言語テキスト・目的言語テキストから構成されるSTデータを利用し、音声からテキストへのSTモデルを作成する。Offline データは MuST-C v2 [4]、SIデータは NAIST-SIC-Aligned-ST [10]を用い、両方ともTED talksをベースにした英日対訳コーパスである。NAIST-SIC-Aligned-STは NAIST-SIC-Alignedを基としており、原言語のトークと目的言語トークのそれぞれの書き起こし間の文アライメントをとることで構築されている。また、CMT test [11]データについても、原言語に合わせて目的言語をチャンク単位で訳出した、省略の影響を含まない場合の理想的な同時通訳の出力方式を表した順送り訳データとして評価に用いた。
基盤モデルには Fukudaらの提案した base モデルを採用した [12]。これは、事前学習済みの HuBERT [13]をエンコーダ、mBART [14]をデコーダとして初期化し、複数の Offline ST データでFine-tuningを行ったモデルである。
Offline データおよび SI データをそれぞれでFine-tuningしたものをベースライン（Offline FT, SI FT）とする。次に、提案手法（Style FT）として、Style タグを付与した混合データによる学習を行い、提案手法+（Style-MultiAug-N FT）として、Style タグ付き混合データに自己教師あり学習を適用し、Style-MultiAug-1 から Style-MultiAug-4まで段階的に学習を進める多段階学習を設計した。
SimulSTの部分出力のデコードの際には Local Agreement (LA) [15] の出力方式を採用した。これは出力を生成するときに、現在のステップでの出力候補文と一つ前のステップの出力候補文の間の共通部分を実際の部分訳出として確定するというものである。入力音声は 200, 400, 600, 800, 1000ms のセグメントに分割し、部分入力に基づく部分出力を生成する形で遅延を制御した。評価では、翻訳品質を BLEU [16]、BLEURT [17]、COMET-QE [18] により測定した。BLEUは参照訳とのN-gram表層一致度による自動評価、BLEURT, COMET-QEは意味的品質の自動評価の手法であり、BLEURTでは目的言語の参照訳、COMET-QEでは原言語の書き起こし文のテキストを用いて、文の類似度評価をベースに評価している。また、評価の遅延指標としてAverage Token Delay (ATD) [19]を、部分出力の訳出開始と終了のタイミングを考慮した遅延評価として採用し、単位はmsとする。
2.7. 実験結果
図 5 ベースラインおよび提案手法の性能と遅延の関係
ベースラインおよび提案手法の性能と遅延の関係を図5に示す。結果として、BLEURT および COMET-QE の両指標において提案手法が一貫して性能を向上させることが確認された。特に、自己教師あり学習を取り入れた多段階学習（Style-MultiAug-4）は、最も大きな改善を示した。一方、BLEU の評価結果では、SI FTモデルが最も高いスコアとなった。しかしこれは、SI 評価データの参照訳が本来訳出すべき情報を大幅に省略している上で、BLEUで計算されるペナルティが足りないことによって過剰に評価をしていることが原因だと考えられる。図6に示すように、SI FTモデルは出力文が短く、参照訳と長さが近いため BLEU が向上したと考えられる。ただし、この短縮は「they were hacked into」などの重要な情報を欠落させる場合があり、過剰な省略につながっている。一方で、提案手法モデルは出力がやや冗長になり、「これは」、「なぜなら」といった接続語や指示語などを多めに含む傾向が見られた。しかし、これらは省略された場合も翻訳の意味内容に大きく影響せず、本研究では原言語に含まれる重要な情報を目的言語側でも保持して翻訳する上で提案手法が有益であることがわかった。特に、自己教師あり学習を段階的に導入した場合には、品質を保ちつつ遅延の低い翻訳が可能だとわかった。また、参照訳の省略傾向が強いSIデータに対しては BLEUでは過剰評価してしまう傾向があることがSIデータとCMTデータの比較からわかり、SIタスクの評価においてはBLEUを指標とする評価は適切ではない場合があり、COMET-QE のように原言語テキストを基準に含む指標が有効であることが分かった。
図6 ベースラインと提案における出力の例
3. まとめと今後の展望
本章では、SimulSTにおけるデータミスマッチの問題に対処するために、SIデータを活用した学習手法を提案した。スタイルタグ付き混合学習とマルチステージ自己学習を組み合わせることで、低遅延かつ高品質な翻訳を実現し、実環境で利用可能なSimulSTの実現に向けた重要な一歩を示した。本博士論文は、自発発話への頑健性とSimulSTの低遅延性という二つの課題に対し、音声の曖昧性を考慮したST、非流暢性を明示的に考慮したST、SIデータを活用したSimulSTという三点の解決策を統合的に提示した。特にSimulSTにおいて、スタイルタグと自己学習を組み合わせることで、Offlineデータでのタスクミスマッチを克服し、語順差の大きい言語ペアにおいても低遅延かつ自然な翻訳を実現した点は大きな貢献である。今後は、大規模なSIデータの収集、多言語ペアへの拡張、さらに大規模言語モデルとの統合といった方向性が期待される。
参考文献
[1] Yuka Ko. Optimizing Speech Translation for Low Latency and High Robustness.博士論文, NAIST, 2025.
[2] Ma et al. STACL: Simultaneous Translation with Implicit Anticipation and Controllable Latency. In Proc. ACL, 2019.
[3] Ma et al. Monotonic Multihead Attention. In Proc. ICLR, 2020.
[4] Di Gangi et al. MuST-C: A Multilingual Speech Translation Corpus. In Proc. NAACL-HLT, 2019.
[5] Toyama et al. CIAIR Simultaneous Interpretation Corpus. In Proc. Oriental COCOSDA, 2004.
[6] Shimizu et al. Constructing a Speech Translation System Using Simultaneous Interpretation Data. In Proc. IWSLT, 2013.
[7] 松下ら. 英日・日英通訳データベース. Invitation to Interpreting and Translation Studies, 22:87–94, 2020.
[8] Doi et al. Large-scale English–Japanese Simultaneous Interpretation Corpus: Construction and Analyses with Sentence-aligned Data. In Proc. IWSLT, 2017.
[9] Chu et al. An Empirical Comparison of Domain Adaptation Methods for Neural Machine Translation. In Proc. ACL, pages 385–391.
[10] Zhao et al. NAIST-SIC-aligned: An aligned English–Japanese simultaneous interpretation corpus. In Proc. LREC-COLING 2024, pp. 12046–12052, 2024.
[11] 福田ら. 順送り訳データに基づく英日同時機械翻訳の評価. In IPSJ-SIGNL, 2024-NL-259(14):1–6, 2024.
[12] Ko et al. Tagged End-to-End Simultaneous Speech Translation Training Using Simultaneous Interpretation Data. In Proc. IWSLT 2023, pp. 363–375, 2023.
[13] Hsu et al. HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units. IEEE/ACM TASLP, 30:162–175, 2022.
[14] Liu et al. Multilingual Denoising Pre-training for Neural Machine Translation. TACL, 8:726–742, 2020.
[15] Liu et al. Low-Latency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection. In Proc. Interspeech 2020, pp. 3620–3624, 2020.
[16] Papineni et al. BLEU: A Method for Automatic Evaluation of Machine Translation. In Proc. ACL 2002, pp. 311–318.
[17] Thibault Sellam et al. BLEURT: Learning Robust Metrics for Text Generation. In Proc. ACL 2020, pp. 7881–7892.
[18] Rei et al. COMET: A Neural Framework for MT Evaluation. In Proc. EMNLP 2020, pp. 2685–2702.
[19] Kano et al. Average Token Delay: A Duration-aware Latency Metric for Simultaneous Translation. Journal of Natural Language Processing, 31(3):1049–1075, 2024.
