AAMTジャーナル「機械翻訳」No. 83 翻訳から後編集までの解釈可能なニューラル機械翻訳

1. はじめに 

本稿は、第12回AAMT長尾賞学生奨励賞を受賞した博士論文”Interpretable Neural Machine Translation from Translation to Post-Editing”​ [1]​について、解説する。

機械翻訳（Machine Translation; MT）は、異なる言語での会話や情報交換といったコミュニケーションにおいて、言葉の壁を乗り越えるための重要な役割を果たす。近年、ニューラル機械翻訳（Neural MT; NMT）の進歩により、さまざまな場面において、機械翻訳による翻訳生成と人間によるチェック・後編集からなるワークフローが取り入れられている。しかし、誤りの許されない産業翻訳等において、機械翻訳・後編集のそれぞれにおいて、次のような課題が存在する：

• 課題①　機械翻訳のドメイン適応
  医療や特許といったドメイン特有の用語等を含む機械翻訳の精度は依然として低い。
• 課題②　人間による後編集の生産性
  翻訳者は、原文と機械翻訳による翻訳文（機械翻訳文）を見比べ、誤訳を探し、訂正する、という、時間のかかる負荷の高い作業を行う必要がある。

本稿では、博士論文で取り組んだこれら2つの課題に対する研究を解説する。どちらの課題に対しても、機械翻訳の利用者あるいは後編集を行う人間にとって解釈可能な手法を検討する。

研究①　課題①に対して、翻訳用例を活用したNMTである𝒌近傍機械翻訳（𝒌-nearest neighbor MT; 𝒌NN-MT）​ [2]​が提案されており、さまざまなドメインにおける翻訳精度の改善が報告されている。しかし、𝒌NN-MTは、1単語生成するごとに生成単語の近傍用例を検索するため、翻訳速度が非常に低下する、という問題が知られている。本研究では、𝒌NN-MTの翻訳速度を改善するため、原文と類似した用例のみに検索対象を絞り込む。提案法は、複数ドメインの独英翻訳実験において、従来法より100倍以上高速に翻訳しながら、従来法を上回る翻訳精度を達成した。（2節; ​[3]​）

研究②　課題②において、人間による後編集では、負荷の高い作業として、誤訳の特定と訂正の2つが挙げられる。人間の後編集作業を支援するためには、誤訳の検出箇所や訂正過程を解釈可能な形式で提示する必要がある。しかし、既存の自動後編集モデルは、編集過程を提示することなく、機械翻訳文をブラックボックスに書き換えてしまうため、人間の後編集作業と組み合わせることが難しい。本研究では、後編集の生産性改善のため、誤訳の検出・訂正過程を後編集者に提示できる自動後編集モデルDetector-Correctorを提案する。提案モデルは、削除・置換・挿入・並べ替えといった編集操作に基づき、原文と機械翻訳文を見比べ誤り箇所を特定するDetectorモデル、Detectorモデルによって特定された誤り箇所の訂正候補を提示するCorrectorモデルからなる。英独・英中翻訳実験より、提案法は、解釈性の高い形式で誤訳箇所・訂正過程を提示できるだけでなく、従来の自動後編集モデルより高い訂正精度を示した。（3節; ​[4]​）

2. 研究① サブセット𝒌NN-MT

2.1. 概要

NMTの課題の1つとして、訓練データに十分に含まれないドメインの翻訳精度が低いことが挙げられる。これに対し、𝒌NN-MT​ [2]​は、翻訳時に用例情報を活用することで、複数のドメインの翻訳精度を追加学習なしで改善した。ただし、𝒌NN-MTは、1単語生成するたびに用例集合全体から近傍用例を検索するため、通常のNMTと比べて翻訳速度が非常に遅くなる。

本研究では、𝒌NN-MTの翻訳速度の改善を目指す。提案法のサブセット𝒌NN-MTは、原文を利用して関連する用例のみに検索対象を絞り込むことで、検索速度を大幅に改善する。また、絞り込まれた検索対象の中から、効率的な類似度計算法を用いて近傍用例を検索することで、さらなる高速化を目指す。

複数ドメインの独英翻訳実験より、提案法は、従来法より100倍以上高速に、かつ、従来法を上回る精度で翻訳できることを確認した。

2.2. 𝒌NN-MT

NMT　典型的なNMTは、原文 𝑥≔(𝑥1,…,𝑥|𝑥|)∈𝑉∗𝑥から、翻訳文𝑦≔(𝑦1,…,𝑦|𝑦|)∈𝑉∗𝑦を生成するように訓練される。 𝑉∗𝑥と𝑉∗𝑦はそれぞれ語彙のKleene閉包を表す。 訓練済みNMTモデルθは、生成確率𝑝(𝑦|𝑥;θ)≔∏|𝑦|𝑡=1𝑝𝑀𝑇(𝑦𝑡|𝑥,𝑦＜𝑡;θ)にしたがい、翻訳文を先頭の単語から順に生成する。

データストア構築　𝒌NN-MT[2]は、データストアと呼ばれる単語単位の用例データベースから検索された近傍用例を用い、NMTの翻訳精度を改善する。データストアℳ⊆ℝ𝐷×𝒱𝑌 は、教師強制で対訳文対をモデルに入力したときの𝐷次元中間表現をキー、出力すべき正解単語を値とする、キー・値ストアとして表現され、対訳データ𝐷⊆𝑉∗𝑋×𝑉∗𝑌から次のように構築する：

ただし、𝑓θ(𝑥,𝑦＜𝑡)は、単語𝑦𝑡∈𝑉𝑌の生成時に計算されるNMTモデルの𝐷次元中間表現ベクトルである。

生成　翻訳時は、データストアから出力単語の近傍用例を検索し、生成確率を補正する。まず、翻訳時に各単語の生成過程で得られる中間表現（クエリ）と各キーとの距離に基づき𝒌個の近傍用例𝒩𝑘ℳ(𝑓θ(𝑥,𝑦＜𝑡))を検索する。𝒩𝑘ℳ:ℝ𝐷→{ℳ̂ |ℳ̂ ⊂𝑀∧|ℳ̂ |=𝑘}は、クエリとEuclid距離が近い上位𝒌件の部分集合をℳから検索する関数を表す。続いて、クエリと近傍用例の各キーとの距離から、𝒌NN確率𝑝𝑘𝑁𝑁を求める：

なお、𝟙は指示関数、𝜏∈ℝは温度パラメータを表す。𝑘NN-MTは、次の確率にしたがって単語𝑦𝑡を生成する：

ただし、𝜆∈[0,1]は、それぞれの確率の重みを調整するハイパーパラメータである。

𝑘NN-MTは、通常のNMTより、翻訳速度が非常に遅い。これは、単語を出力するたびに巨大なデータストアから近傍用例を検索するためであり、翻訳文𝐲を生成する際の検索の時間計算量は、𝒪(|ℳ||𝐲|𝐷)となる。

直積量子化　データストアはしばしば巨大になるため、直積量子化（Product Quantization; PQ） [5]により、キーを圧縮する。 PQは、𝐷次元空間を𝐷𝑀次元ずつ𝑀個の部分空間に分割し、それぞれ量子化する。学習時は、各部分空間ごとに、𝑘-meansにより代表ベクトルを獲得し、代表ベクトル・それに対応する量子化符号の対応からなる符号帳を学習する。量子化時は、各部分空間ごとに符号帳を参照し、最近傍の代表ベクトルの量子化符号に量子化する。

2.3. 提案法：サブセット𝒌NN-MT

本研究では、𝑘NN-MTの翻訳速度の改善に向け、サブセット𝑘NN-MTを提案する。提案法は、原文に関連する用例のみに検索対象を絞り込むサブセット検索、絞り込んだ用例の中から上位𝑘件を高速に検索するasymmetric distance computation (ADC) [5]からなる。

サブセット検索　サブセット検索は、Nagao [6]のように原文に対する類似文検索を用い、関連する用例のみに検索対象を絞り込むことで高速化を狙う。対訳文対ごとにキー・値ペアを持つようにデータストアを拡張した、文データストアを構築する。文データストアのキーは各原文の文埋め込み、値は各対訳文対のみから構築される𝑘NN-MTのデータストアである。翻訳時は、図 1に示すように、生成開始時に原文との類似度が高い上位𝑛件を検索し、検索対象をそれらの値の和集合（サブセットデータストア）に絞る。サブセットデータストアを検索対象とする以外は、通常の𝑘 NN-MTと同じように生成する。

ADC 各単語を生成する際、ADC [5]と呼ばれる、PQによる量子化符号ベクトルとの効率的な距離計算法を用い、サブセットデータストアから𝑘近傍用例を高速に検索する。ADCは、まず、各部分空間において、𝐷𝑀次元クエリベクトルと符号帳内の各代表ベクトルとの間で距離を計算し、距離テーブルに格納する。続いて、キーの量子化符号をもとに距離テーブルから対応する計算済みの距離を参照する。キーの量子化符号は、符号帳内の代表ベクトルを表す符号であることに注意されたい。最後に、各部分空間の距離の和を求める。

2.4. 実験

実験設定　提案法の翻訳精度と速度を従来法と比較するため、翻訳実験を行った。本稿では、IT・医療ドメインの独英翻訳の結果を掲載する。翻訳精度はsacreBLEU (%) [7]で評価し、翻訳時間はNVIDIA V100 GPUを1基用い、入力バッチサイズ12,000単語で、1秒間に生成できる単語数（生成単語数毎秒; tok/s）を測定した。ベースラインのNMTモデル（Base MT）としてTransformerモデル [8]を使用した。𝑘NN-MTの設定については、𝑘=16、𝜏=100とした。𝑘NN-MT、サブセット𝑘NN-MTともに、PQの分割数は𝑀=64とした。

文データストアのキーは、文エンコーダ𝑠:𝒱𝑋∗→ℝ𝐷𝑠（𝐷𝑠∈ℕは文埋め込みの次元数）に、LaBSE [9]、Base MTのエンコーダ最終層の平均化埋め込み、TF-IDFによる疎ベクトルをそれぞれ用い、性能を比較した。

実験結果　翻訳実験の結果を表 1に示す。まず、𝑘NN-MTは、どちらのドメインにおいてもBase MTより高い翻訳精度を獲得しているが、翻訳速度は200倍程度低下していることがわかる。提案法のサブセット𝑘NN-MTは、特に文埋め込みにLaBSEを用いたときに𝑘NN-MTを最大1.6 BLEU%上回る精度を達成しながら、翻訳速度は𝑘NN-MTの100倍、Base MTの50%程度という、実用的な速度で動作することを確認した。また、文埋め込みの間で、大きな速度差は見られなかった。翻訳精度については、TF-IDFのような疎ベクトルより、LaBSEやAvgEncといったニューラルネットワークを用いたときのほうが高くなることを確認した。

2.5. まとめ

本研究では、課題①に対して、NMTを追加学習なしで効率的にドメイン適応する方法を提案した。提案法のサブセット𝑘NN-MTは、原文情報を用いて検索対象を絞り込むサブセット検索、量子化符号上で効率的に距離を計算するADCを用いることで、𝑘NN-MTの課題であった翻訳速度を大幅に改善する。複数ドメインの独英翻訳実験により、サブセット𝑘NN-MTは、翻訳速度を100倍以上改善するだけでなく、翻訳精度も最大1.6 BLEU%改善することを確認した。

3. 研究② 編集操作に基づく自動後編集

3.1. 概要

近年、機械翻訳の技術の進歩により、高精度かつ流暢な翻訳が生成できるようになり、産業翻訳の場においても機械翻訳の活用が進んでいる。しかし、専門文書のような、誤訳が許されない場面においては、機械翻訳の出力文（機械翻訳文）に対する人手での確認や後編集は、依然として必要不可欠である。しかし、後編集作業は人間にとって負荷が高く、特に、原文・機械翻訳文を見比べて誤訳を探す作業は時間を要する。これまで、後編集の生産性を改善するために、自動的に後編集を行う自動後編集モデルが提案されてきた。ただし、既存モデルでは、機械翻訳文をブラックボックスに書き換えるため、誤訳箇所や訂正過程を人間の後編集者にとって解釈性の高い形で示すことが難しい。

本研究では、誤訳箇所の検出および訂正を人間の後編集者に対して解釈性の高い形で提示する自動後編集モデル「Detector-Corrector」を提案し、後編集の生産性の改善を目指す。提案モデルは、誤訳箇所を検出するDetectorモデル、検出された誤訳に対して挿入・削除・置換・並べ替えといった編集操作に基づき訂正するCorrectorモデルからなり、これらを組み合わせることで、解釈性の高い自動後編集を目指す。

WMT’20英独・英中自動後編集タスク [10]を用いた翻訳実験より、提案法のDetector-Correctorは、誤訳箇所や訂正過程を解釈性の高い形で提示しながら、既存モデルより高い精度で訂正できることを確認した。

3.2. 関連研究

編集モデル　文法誤り訂正などの単言語生成タスクでは、入力文に対する編集操作を予測する「編集モデル」が提案されている [11, 12, 13]。編集モデルは、出力文を直接生成する系列変換モデルと比較して、予測結果の解釈性が高く、また、文法誤り訂正などの単言語生成タスクにおいて高い精度を示している。本研究では、自動後編集タスクのための編集モデルを提案する。単言語生成タスクとは異なり、訂正には訂正対象の機械翻訳文だけでなく原文の情報が必要である。また、抜け落ちた訳を生成する必要がある点も異なる。

単語単位品質推定　これまでに、翻訳文の誤訳単語を検出する単語単位の翻訳品質推定が提案されてきた [14, 15]。単語単位品質推定では、原文と翻訳文を入力し、翻訳文中の誤訳単語、また、訳抜けした翻訳について原文中の対応単語および翻訳文への挿入すべき箇所を推定する。本研究ではさらに、語順の並べ替えまで考慮する。また、検出だけでなく訂正まで行う。

3.3. 提案法：Detector-Corrector

機械翻訳文の誤訳箇所の検出および訂正を解釈可能な形で提示する自動後編集モデル「Detector-Corrector」を提案し、後編集の生産性の改善を目指す。提案法は、誤訳箇所を検出する検出モデルDetectorと、編集操作に基づく誤訳訂正モデルCorrectorからなる。

誤訳検出　誤訳検出を行うDetector（図 2）は、Transformerエンコーダモデル [8]を用い、原文と翻訳文を入力とし、翻訳文中の誤訳単語、訳抜けして翻訳されていない原文の対応単語、抜け落ちた訳の挿入すべき箇所を、それぞれ推定するように訓練する。それぞれの予測箇所は単語単位の2値分類により推定する。具体的には、エンコーダの出力表現に対し、スカラー値への線形変換、シグモイド関数をこの順に適用する。また、Detectorモデルでは、ポインタネットワーク [16]を用いて語順の並べ替え操作をマルチタスク学習する。

訓練データは、原文、機械翻訳文、後編集文の3つ組データから作成し、機械翻訳文から後編集文への編集操作を、translation edit rate (TER) [17]を用いて求める。TERは、挿入・削除・置換・並べ替えといった編集操作に基づく編集距離から、翻訳の品質を評価する指標である。TERの計算過程から、挿入操作から訳抜け箇所を、削除・置換・並べ替え操作から誤訳箇所を求める。なお、訓練に必要な3つ組データには、人手で後編集したデータ、対訳データの原文を機械翻訳によって翻訳し参照訳文を疑似後編集文とみなす疑似データ、対訳データの参照訳に対して機械的に編集操作を加えて誤訳を混入した人工データを組み合わせる。

誤訳訂正　誤訳の訂正を担うCorrectorモデル（図 3）は、Detectorあるいは人間によって検出された誤訳箇所の訂正候補を提示する。原文と機械翻訳文を結合し、誤訳箇所や訳抜け箇所を注釈タグで囲い、注釈タグの中を訂正した翻訳を生成するよう、訓練する。図 3に示すように、原文の訳抜け箇所と誤訳箇所に＜bad＞タグを、訳抜けを挿入すべき箇所に＜ins＞タグを付与する。

反復推論　誤訳検出・訂正の精度を高めるため、推論時は、訂正した翻訳を機械翻訳文とみなし、誤訳が検出されなくなる、もしくは、最大反復回数に到達するまで、語訳検出・訂正を繰り返す。なお、並べ替えについては、初回の推論時のみ適用する。

3.4 実験

実験設定　WMT’20自動後編集タスク [10]の英独・英中データを用いて翻訳実験を行った。提案法の有効性を検証するため、訂正前の機械翻訳文、系列変換モデル、編集モデルの先行研究であるLevenshtein Transformer (LevT) [13]、提案法の翻訳精度を比較した。評価指標には、TER [17]とCOMET(%) [18]を用いた。提案法の最大訂正回数は、5回に設定した。

実験結果　実験結果を表 2に示す。表中の太字は、各評価指標における最高精度を示す。表より、英独・英中翻訳両方において、提案法が従来法よりも低いTERを達成していることが確認できた。また、英中翻訳の訂正過程を表 3に示す。Detectorによって、誤訳・訳抜けの検出と語順の並べ替えが予測され、Correctorにより訂正されている過程が確認できる。表 3で得られた訂正結果を再度入力し、反復推論を行うことで、表 2に示す訂正精度を達成した。

3.5. まとめ

本研究では、後編集の生産性改善に向けて、編集操作に基づく自動後編集モデルDetector-Correctorを提案した。提案法は、誤訳・訳抜けの検出と訂正を段階的に行い、自動後編集の解釈性を改善する。WMT’20英独・英中自動後編集タスクの実験結果より、提案法が、解釈性の高い訂正過程を提示しながら、従来法より高い精度で訂正できることを確認した。

4. おわりに

博士論文では、2・3節に示したとおり、機械翻訳から後編集まで、解釈性の高い手法を通して、課題の解決に取り組んだ。これらの研究から、新たな課題も見つかった。現状のDetectorでは、まだ誤訳の検出精度が低いため、より高い精度で誤訳検出できる仕組みを研究していく必要がある。また、博士論文では、産業翻訳等を想定した研究を行ったが、機械翻訳の用途は文学翻訳や音声翻訳など多岐に渡り、それぞれにおいて異なる課題が存在している。例えば、文学翻訳においては、翻訳品質の評価そのものが難しい課題として残されている。また、音声翻訳においては、長い系列の処理、話し言葉に起因する曖昧性、マルチモーダル処理などの課題がある。今後も、機械翻訳のさらなる改善を目指し、研究に励んでいきたい。

謝辞

本稿は、第12回AAMT長尾賞学生奨励賞受賞記念として執筆したものです。このような名誉ある賞を授与していただき誠にありがとうございます。また、博士論文に関する研究につきまして、共著者および指導教員の皆様に深く感謝いたします。

参考文献

[1]
H. Deguchi, “Interpretable Neural Machine Translation from Translation to Post-Editing,” 奈良先端科学技術大学院大学, 2024.

[2]
U. Khandelwal, A. Fan, D. Jurafsky, L. Zettlemoyer and M. Lewis, “Nearest Neighbor Machine Translation,” in International Conference on Learning Representations (ICLR), 2021.

[3]
H. Deguchi, T. Watanabe, Y. Matsui, M. Utiyama, H. Tanaka and E. Sumita, “Subset Retrieval Nearest Neighbor Machine Translation,” in Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Toronto, Canada, Association for Computational Linguistics, 2023, p. 174–189.

[4]
H. Deguchi, M. Nagata and T. Watanabe, “Detector–Corrector: Edit-Based Automatic Post Editing for Human Post Editing,” in Proceedings of the 25th Annual Conference of the European Association for Machine Translation (Volume 1), Sheffield, UK, European Association for Machine Translation (EAMT), 2024, p. 191–206.

[5]
H. Jégou, M. Douze and C. Schmid, “Product Quantization for Nearest Neighbor Search,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 1, pp. 117–128, 2011.

[6]
M. Nagao, “A Framework of a Mechanical Translation between Japanese and English by Analogy Principle,” International NATO Symposium on Artificial and Human Intelligence, pp. 173–180, 1984.

[7]
M. Post, “A Call for Clarity in Reporting BLEU Scores,” in Proceedings of the Third Conference on Machine Translation: Research Papers, Brussels, Belgium, Association for Computational Linguistics, 2018, pp. 186–191.

[8]
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, Ł. Kaiser , I. Polosukhin, “Attention Is All You Need,” Advances in Neural Information Processing Systems 30, pp. 5998–6008, 2017.

[9]
F. Feng, Y. Yang, D. Cer, N. Arivazhagan and W. Wang, “Language-agnostic BERT Sentence Embedding,” in Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Dublin, Ireland, Association for Computational Linguistics, 2022, pp. 878–891.

[10]
R. Chatterjee, M. Freitag, M. Negri and M. Turchi, “Findings of the WMT 2020 Shared Task on Automatic Post-Editing,” in Proceedings of the Fifth Conference on Machine Translation, Oneline, Association for Computational Linguistics, 2020, p. 646–659.

[11]
J. Mallinson, A. Severyn, E. Malmi and G. Garrido, “FELIX: Flexible Text Editing Through Tagging and Insertion,” in Findings of the Association for Computational Linguistics: EMNLP 2020, Online, Association for Computational Linguistics, 2020, p. 1244–1255.

[12]
F. Stahlberg and S. Kumar, “Seq2Edits: Sequence Transduction Using Span-level Edit Operations,” in Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, Association for Computational Linguistics, 2020, p. 5147–5159.

[13]
J. Gu, C. Wang and J. Zhao, “Levenshtein Transformer,” in Advances in Neural Information Processing Systems (Vol. 32), Curran Associates, Inc., 2019.

[14]
Y. Kuroda, A. Fujita and T. Kajiwara, “Word-level Translation Quality Estimation Based on Optimal Transport,” in Proceedings of the 16th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), Chicago, USA, Association for Machine Translation in the Americas, 2024, p. 209–224.

[15]
Z. Yang, F. Meng, Y. Yan and J. Zhou, “Rethinking the Word-level Quality Estimation for Machine Translation from Human Judgement,” in Findings of the Association for Computational Linguistics: ACL 2023, Toronto, Canada, Association for Computational Linguistics, 2023, p. 2012–2025.

[16]
D. Fernández-González and C. Gómez-Rodríguez, “Reducing Discontinuous to Continuous Parsing with Pointer Network Reordering,” in Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, Online and Punta Cana, Dominican Republic, Association for Computational Linguistics, 2021, p. 10570–10578.

[17]
M. Snover, B. Dorr, R. Schwartz, L. Micciulla and J. Makhoul, “A Study of Translation Edit Rate with Targeted Human Annotation,” in Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, Cambridge, Massachusetts, USA, Association for Machine Translation in the Americas, 2006, p. 223–231.

[18]
R. Rei, J. G. C. d. Souza, D. Alves, C. Zerva, A. C. Farinha, T. Glushkova, A. Lavie, L. Coheur and A. F. T. Martins, “COMET-22: Unbabel-IST 2022 Submission for the Metrics Shared Task,” in Proceedings of the Seventh Conference on Machine Translation (WMT), Abu Dhabi, United Arab Emirates (Hybrid), Association for Computational Linguistics, 2022, pp. 578–585.