AAMTジャーナル「機械翻訳」No. 83 事前訓練済みモデル・LLMを用いた特許翻訳の二段階自動後編集
1. はじめに
大規模言語モデル（LLMs）の近年の進展により，LLMRefine [1] に代表される多段階推論手法が提案され，反復的な分析と修正を通じて翻訳出力を段階的に改善する枠組みが注目されている．さらに，Google の最近の研究 [2] が示すように，この段階的推論を翻訳タスクに応用する試みも進められている．しかし，機械翻訳のすべての処理を LLMs に依存する必要は必ずしもなく，例えば翻訳誤り検出タスクは，事前学習済みの多言語エンコーダモデルを活用することで，より高精度かつ低計算コストで実行できる可能性がある．
本研究では，図1に示すように，エンコーダモデルによる誤り検出と LLM による翻訳訂正を統合した二段階の翻訳訂正手法を提案する．第1段階では，多言語 BERT（mBERT）[3] を用いて各トークンに翻訳誤りラベルを付与する．日英特許翻訳に関しては誤り注釈付きデータセットが存在しないため，対訳特許コーパスのターゲット文に人工的な誤りを挿入し，合成データセットを構築した．これにより mBERT はトークンレベルでの誤り検出を学習できる．第2段階では，LLM（GPT-4o）[4] を用い，検出された誤りタグに基づいて翻訳文を訂正する．
本手法は，翻訳誤りが許容されず厳格な後編集が求められる分野の一例として，特許翻訳に適用し評価を行った．人工誤り文，繰り返し誤り文，訳抜け文の3種類のデータセットで実験した結果，エンコーダモデルによる誤り検出と LLM による訂正を組み合わせた手法は，BLEU [5] および COMET [6] の両評価指標において LLM 単独の手法を上回った．ただし，訳抜けの完全な解消は依然として課題として残る．以上より，多段階 LLM 推論は強力である一方，コンパクトなエンコーダモデルを選択的に組み合わせることで，機械翻訳における誤り検出・訂正の精度と効率をさらに高められることが示唆された．
2. 関連研究
Wei らは，多言語 BERT（mBERT）を用いた単語レベル品質推定（QE）の教師あり学習を行った [7]．具体的には，原文と翻訳文を連結した入力を回帰モデルに与え，各トークンが BAD と判定される確率を出力するモデルを構築している．本研究は，この手法を発展させ，特許文書を対象とした教師あり学習に適用することで，特許翻訳における単語レベル QE の精度向上を目指す．
単語レベル QE の最先端手法としては，COMET を拡張し単語レベルスコアを付与する xCOMET [8] が挙げられる．xCOMET は XLM-R [9] を基盤としており，複数の WMT ベンチマークにおいて優れた性能を示している．しかし，XLM-R は学習データが豊富な言語と比較して日本語に関するカバレッジが限定的であり，日英翻訳設定における有効性については依然として明らかではない．
一方，近年は機械翻訳の後編集において LLM を活用する研究も進展している．Xu らは LLMRefine [1] を提案し，翻訳結果に対して LLM による誤り検出を行う枠組みを構築した．具体的には，エラーカテゴリとエラースパンのリストを生成するように学習した LLM により誤りを特定し，そのフィードバックを用いて LLM が反復的に修正を行うことで，英独および中英翻訳タスクにおいて翻訳品質の向上を実現している．また，Ki らは外部からのフィードバックを取り込んだ LLM ベースの後編集手法を提案した [10]．この研究では Multidimensional Quality Metric (MQM) [11] に基づくエラーアノテーションを活用し，LLM に外部フィードバックを与えることで翻訳品質を改善した．中英，英独，英露のデータセットを用いた実験において，TER，BLEU，COMET の各指標で性能向上が報告されている．
3. 誤訳検出
3.1 mBERTを用いた誤訳検出
本研究では，多言語事前学習済み言語モデルである mBERT を用いて，トークンレベルでの翻訳品質評価を行う．具体的には，翻訳文中の誤りを検出するために mBERT の学習を行い，各トークンに誤りラベルを付与する．学習データの構築にあたっては，Deguchi らのデータ拡張手法 [12] に基づき，NTCIR-7 [13] および NTCIR-8 [14] の対訳特許文に対して以下の操作を施し，人工的に誤りを付与したデータを生成した．
・削除: トークンを5%の確率で削除
・挿入: トークンを10%の確率で挿入
・置換: トークンを30%の確率で置換
挿入および置換においては，mBERT を用いた MASK 補完手法を採用した．具体的には，対象位置に MASK トークンを配置し，mBERT によって適合するトークンを予測させる．その際，元のトークンとの類似性を低減するため，Transformers の Pipeline が出力する候補のうち，スコアが最も低いトークンを選択した．生成された擬似データにおいて，誤りに相当するトークンには BAD タグを，その他のトークンには OK タグを付与し，教師データを構築した．
最終的に，この手法により作成した特許領域の教師データ 8,000 文を用いて mBERT の学習を行った．
3.2 LLMを用いた誤訳検出
LLMを用いた誤訳検出手法として，Kocmiらが提案したGPTベースの評価手法であるGEMBA-MQM [15] を採用する．この手法は GPT-4 を基盤とし，言語に依存しない固定の 3-shot プロンプトを用いて翻訳エラーの範囲および種類を出力するものである．GEMBA-MQM に基づき，本研究では以下の2種類の設定で誤り検出を実施した．
・0-shot: 事前の例示なしで翻訳誤り検出を行う．
・3-shot: 言語に依存しない3つの具体例を提供し，翻訳誤り検出を行う．
特に3-shot設定は，GPT-4を用いた誤り検出手法の中で最も高い精度を達成するものとして報告されている [15]．
なお，mBERT および LLM を用いた誤訳検出は，後続の翻訳訂正における前処理として機能し，検出結果を活用することで翻訳訂正の精度向上を目指す.
4. LLMを用いた誤訳訂正
原文と翻訳文を入力とすることで，LLM は翻訳文中の誤りを分析し，訂正文を生成する．具体的には，LLM は検出された誤訳部分を分析し，誤り箇所およびその内容に関する説明を提示した上で，これに基づき訂正文を生成する．この際，誤りに対する説明を明示することで，訂正結果の透明性を高めるとともに，翻訳改善の過程を明確化することが可能となる．
さらに本研究では，前章で述べた誤訳検出結果を基盤として，LLM による翻訳訂正手法を提案する．特に，LLM や mBERT による誤訳検出結果を入力として活用することで，訂正精度の一層の向上を図る．
5. 評価
5.1 データセット
本論文では，以下の3種類のデータに対して評価を行う．
・人工誤り特許データ
・繰り返し誤り特許請求項
・訳抜け誤り特許請求項
人工誤り特許データは，3.1 節で述べた手法に基づき，NTCIR-7 および NTCIR-8 の特許対訳データに人工的に誤りを付与して作成したものである．本研究では，この人工誤り特許データ 200 文を用いて，誤訳に対する検出・訂正能力を評価する．
さらに，繰り返し誤りおよび訳抜け誤りに対する翻訳訂正精度を評価するため，特許請求項を Transformer により日英翻訳したデータから，以下の基準に従い文を抽出した．
・繰り返し誤り特許請求項: Transformerによる翻訳文の文長が参照訳文の2倍以上である文
・訳抜け誤り特許請求項: Transformerによる翻訳文の文長が参照訳文の0.5倍以下である文
抽出対象は 2021 年の特許請求項とし，これを用いて訂正精度を評価する．また，対訳データの品質を高めるため，LaBSE [16] による埋め込みを用いて原文と参照文の類似度を計算し，類似度が 0.8 以上 0.98 以下の文を抽出した．最終的に，繰り返し誤り特許データ 211 文および訳抜け誤り特許データ 200 文を評価に用いた．
5.2 評価手順
5.2.1 翻訳誤り検出
誤り検出の評価においては，特許文に人工的に誤りを付与した 200 文を対象とし，翻訳誤り箇所に BAD タグを付与したトークン単位の評価を行った．mBERT および LLM に対しては，図1に示す形式と同様のタグアノテーションを付与した．
・LLM(GPT-4o) : 0-shot
・LLM(GPT-4o) : 3-shot
・mBERT
評価指標としては，F1 値および Matthews相関係数 (MCC) を用いた．
5.2.2 翻訳誤り訂正
翻訳訂正後の文は BLEU [5] および COMET [6] により評価した．BLEU はsacreBLEU [17] を用いて算出し，COMET は wmt22-comet-da モデルを使用した．
誤り訂正の評価では，人工的に誤りを付与した特許文，繰り返し誤りを含む特許請求項，および訳抜け誤りを含む請求項を対象として，LLM による誤り訂正を実施した．訂正には，原文および翻訳文に加えて，mBERT および LLM による誤り検出結果を入力として与えた．モデルの組み合わせは以下の通りである．
・LLM(GPT-4o) : 検出(誤り説明) + 修正
・LLM (GPT-4o) : 検出(GEMBA:0-shot)
→ LLM (GPT-4o) : 検出(誤り説明) + 修正
・LLM (GPT-4o) : 検出(GEMBA:3-shot）
→ LLM (GPT-4o) : 検出(誤り説明) + 修正
・mBERT : 検出(タグ)
→ LLM (GPT-4o) : 検出(誤り説明) + 修正
5.3 評価結果
5.3.1 翻訳誤り検出評価
人工誤りを付与した特許データに対する誤り検出の結果を表1に示す．表から，mBERT による翻訳誤り検出が F1 値および MCC の両指標において最も優れた性能を示したことが確認できる．特に，Precision とRecall のバランスの良さが総合性能の高さに寄与していると考えられる．一方，GPT-4o はプロンプト設定によって結果に差が見られ，3-shot 設定では 0-shot 設定より改善が確認されたものの，mBERT には及ばなかった．さらに，GPT-4o の出力を詳細に分析した結果，多くのトークンに BAD タグを過剰に付与する傾向が認められた．このため BAD タグの Recallは高い値を示したが，OK タグの Recall が大幅に低下する傾向が見られた．
表1 人工誤りを対象とした誤り検出評価
これらの結果は，特許文で学習を行った mBERT が特許文に対するトークンレベルでの誤り検出とタグ付けを効果的に処理できることに起因すると推測される．また，作成した擬似データを用いた mBERT の学習手法が有効であることを示唆している．一方，GPT-4o については検出性能の低さやプロンプト設定に依存する性能のばらつきが課題として残り，より高精度な誤訳検出を実現するためには追加的な工夫が必要である．
5.3.2 翻訳誤り訂正評価
表2に示す結果から，mBERT ベースの誤り検出と LLM を組み合わせた提案手法が，BLEU および COMET の両指標において他手法を上回り，最も高い翻訳訂正精度を達成したことが確認された．特に，日英翻訳における人工誤り特許文に対して，他手法と比較してBLEU が統計的に有意に向上した．さらに，表3に示す翻訳修正例からも，提案手法が人工誤り文の誤訳を適切に訂正できていることが確認できる．これらの結果は，mBERT によるトークンレベルの誤訳検出が高精度に機能し，その情報を活用することで LLM が適切に翻訳訂正を行えることを示している．
繰り返し誤り特許請求項においても，提案手法は最も良好な性能を示し，BLEU が統計的に有意に向上した．表4の翻訳修正例から，提案手法が繰り返し誤りを適切に訂正できていることが確認された．これらの結果から，繰り返し誤りに対しても提案手法が有効であることが示唆される．
一方，訳抜け誤り特許文においては，最も高い BLEU スコアを示したのは LLM 単独で検出および訂正を行う手法であった．表2に示すように，訂正なしの BLEU スコアが 19.01 であったのに対し，提案手法では 56.65 と大幅に向上した．また，表5の翻訳修正例からも，提案手法が訳抜け誤りを訂正できていることが確認できる．しかしながら，精度の面では LLM 単独手法に劣る結果となった．この要因として，ターゲット側のタグ情報では訳抜け誤りを十分に表現できず，翻訳訂正に必要な情報を提供できなかった可能性が考えられる．
6. 結論
本論文では，特許文で学習した mBERT により翻訳誤り検出を行い，その結果を LLM に入力して翻訳誤り訂正を行う二段階手法を提案し，評価を行った．実験の結果，BLEU が他手法と比較して統計的に有意に向上し，誤訳や繰り返し誤りを効果的に改善できることを確認した．特に，mBERT による高精度な誤訳検出が LLM の訂正を支え，誤りトークンの適切な訂正を通じて翻訳精度の向上に寄与した．また，特許文の擬似データを用いた学習により，人手によるアノテーションが存在しない場合でも誤り検出モデルの訓練が可能であることを示した．これらの結果から，エンコーダモデルを高品質な訓練データで学習させることにより，汎用 LLM を上回る精度を達成できる可能性が示唆された．一方，訳抜け誤りの訂正に関しては，LLM が検出と訂正を一貫して行う手法が提案手法を上回り，タグ情報の活用には課題が残された．この結果は，誤りの種類に応じた訂正手法の選択や，誤り情報の提示方法の最適化が重要であることを示唆している．
参考文献
[1] W. Xu, D. Deutsch, M. Finkelstein, J. Juraska, B. Zhang, Z. Liu, W. Y. Wang, L. Li, and M. Freitag. 2024. LLMRefine: Pinpointing and refining large language models via fine-grained actionable feedback. In Findings of NAACL, pages 1429–1445.
[2] E. Briakou, J. Luo, C. Cherry, and M. Freitag. 2024. Translating step-by-step: Decomposing the translation process for improved translation quality of long-form texts. In Proc. WMT, pages 1301–1317.
[3] J. Devlin, M. Chang, K. Lee, and K. Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL, pages 4171–4186.
[4] OpenAI. 2024. Gpt-4o system card. https://arxiv.org/abs/2410.21276
[5] K. Papineni, S. Roukos, T. Ward, and W. Zhu. 2002. Bleu: a method for automatic evaluation of machine translation. In Proc. 40th ACL, pages 311–318
[6] R. Rei, J. G. C. de Souza, D. Alves, C. Zerva, A. C. Farinha, T. Glushkova, A. Lavie, L. Coheur, and André F. T. Martins. 2022. COMET-22: Unbabel-IST 2022 submission for the metrics shared task. In Proc. 7th WMT, pages 578–585.
[7] Y. Wei, T. Utsuro, and M. Nagata. 2022. Extending word-level quality estimation for post-editing assistance. https://arxiv.org/abs/2209.11378.
[8] N. Guerreiro, R. Rei, D. Stigt, L. Coheur, P. Colombo, and A. Martins. 2024. xcomet: Transparent machine translation evaluation through fine-grained error detection. TACL, pages 979–995.
[9] N. Goyal, J. Du, M. Ott, G. Anantharaman, and A. Conneau. 2021. Larger-scale transformers for multilingual masked language modeling. In Proc. 6th Workshop on Representation Learning for NLP, pages 29–33.
[10] D. Ki and M. Carpuat. 2024. Guiding large language models to post-edit machine translation with error annotations. In Findings of NAACL, pages 4253–4273
[11] A. Burchardt. 2013. Multidimensional quality metrics: a flexible system for assessing translation quality. In Proc. TC, pages 1–7.
[12] H. Deguchi, M. Nagata, and T. Watanabe. 2024. Detector–corrector: Edit-based automatic post editing for human post editing. In Proc. 25th EAMT, pages 191–206.
[13] A. Fujii, M. Utiyama, M. Yamamoto, and T. Utsuro. 2008. Overview of the patent translation task at the NTCIR-7 workshop. In Proc. 7th NTCIR, pages 389–400.
[14] A. Fujii, M. Utiyama, M. Yamamoto, T. Utsuro, T. Ehara, H. Echizen-ya, and S. Shimohata. 2010. Overview of the patent translation task at the NTCIR-8 workshop. In Proc. 8th NTCIR, pages 371–376.
[15] T. Kocmi and C. Federmann. 2023. GEMBA-MQM:Detecting translation quality error spans with GPT-4. In Proc. 8th WMT, pages 768–775
[16] F. Feng, Y. Yang, D. Cer, N. Arivazhagan, and W. Wang. 2022. Language-agnostic BERT sentence embedding. In Proc. 60th ACL, pages 878–891.
[17] M. Post. 2018. A call for clarity in reporting BLEU scores. In Proc. 3th WMT, pages 186–191
