AAMTジャーナル「機械翻訳」No. 83 複数のLLMを活用した機械翻訳のための協力デコーディング

白井尚登　衣川和尭　伊藤均　美野秀弥　河合吉彦　NHK 放送技術研究所

図1. Proxy-tuning (左)とCollab-MT(右)の概略図．

1. はじめに

大規模言語モデル（Large Language Model, LLM）を機械翻訳分野へ応用する動きが進み, 公開されたLLMを継続して事前学習する継続事前学習と対訳データの追加学習とを組み合わせたALMA [1]や, 翻訳のワークフローを模して学習を行ったTower [2]など多くの翻訳特化型LLMが登場している．

翻訳タスクをはじめ，LLMの文章生成タスクへの有効性が示される一方，モデルの大規模化に伴い，学習や推論に必要な計算コストの増加が課題となっている [3]．この課題に対応するため，モデルのパラメータサイズが大きなLLM（大型LLM）の追加学習ではなく，より小さなLLM（小型LLM）のみを追加学習し，大型LLMと小型LLMの両方を用いて次のトークンを予測することで性能向上を目指す手法（協力デコーディング）が提案されている．例えば，Proxy-tuning [4]とよばれる手法では，小型LLMの学習前後に出力する予測確率値の差分を大型LLMに加算することで，質問応答やコード生成のタスクにおいて，直接大型LLMを追加学習したモデルに匹敵する性能を示した．しかしながら，Proxy-tuningは翻訳タスクには適用しておらず，小型LLMの学習情報が翻訳性能の向上に寄与するかは未解明である．

本研究では，機械翻訳への応用を目的とした新たな協力デコーディング手法Collaborative Decoding for Machine Translation (Collab-MT) を提案する．Collab-MT は，小型LLMの予測確率値を大型LLMに加算することで，翻訳性能を向上させる手法である．原言語と目的言語に特化した小型LLMを用いることで，言語間の知識を効果的に活用し，汎用的な大型LLMの性能を向上させることを目指す．

実験の結果，大型LLMの追加学習モデルの性能には及ばなかったものの，既存手法Proxy-tuningよりもBLEUスコア [5]において最大12.73ポイント上回った．

2. 提案手法

2.1 既存手法: Proxy-tuning

従来の協力デコーディング手法Proxy-tuning（図1）は，小型LLMを特定のタスクに合わせて追加学習し，学習前後の予測確率の差分を利用して，大型LLMの予測を補正することで翻訳性能を向上させる．これにより，大型LLMを直接追加の学習することなく，特定タスクの性能を向上させることができる．このProxy-tuningはこれまで機械翻訳のタスクには適用されておらず，機械翻訳のタスクへの効果は明らかではない．

表1. 各手法の翻訳結果. 太字は一番良い結果. 1B, 3BのCollab-MTとは, 小型LLMが1B, 大型LLMが3Bの設定を指す.

2.2 提案手法: Collab-MT

本研究では，機械翻訳に特化した新たな協力デコーディング手法Collab-MTを提案する（図1）．Collab-MTでは，2つの小型LLMを用意し，それぞれに原言語，あるいは，目的言語に応じた継続事前学習と，翻訳ペアに対して追加学習を行う．そして，これらの小型LLMの予測確率値を，追加学習していない大型LLMの予測確率値に加算する．出力結果を加算することにより，協力して文章を生成し，翻訳性能の向上を試みる．

3. 実験設定

本研究では，提案手法 Collab-MT の有効性を検証するため，日英および独英の双方向翻訳タスクにおいて，既存手法との比較実験を実施した．

3.1 データセット

データセットとして，日英・英日翻訳にはALT¹，独英・英独翻訳には WMT19²を使用した．ALTデータセットは，継続事前学習に1000文，追加学習に18,083文，テストに1,017文，WMT19データセットは，継続事前学習に2,000文，追加学習に18,000文，テストに2,998文を使用した．いずれも既存の対訳データを活用し，少量の単言語データによる学習を行った．

¹ https://huggingface.co/datasets/mutiyama/alt
² https://huggingface.co/datasets/wmt/wmt19

3.2 モデル

Llama 3 [6] シリーズのモデルを使用し，大型LLMには Llama-3.2-3B³/ Llama-3.1-8B⁴のInstructモデルを使用した．小型LLMには，Llama-3.2-1B⁵を使用した．

³ https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct
⁴https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct
⁵ https://huggingface.co/meta-llama/Llama-3.2-1B

3.3 比較手法

本実験では，追加学習をしないZero-shotモデル（Zero-shot）と追加学習を行ったモデル（Fine-tuning）をベースラインとし，既存の協力デコーディング手法Proxy-tuning⁶と提案手法 Collab-MT とを比較した．

⁶ https://github.com/alisawuffles/proxy-tuning

また，翻訳性能の評価には，正解データとLLMの翻訳結果の表層的な一致度を測るBLEU⁷と意味的な類似度を測るBERTScore [7] を用いた．

⁷ https://github.com/mjpost/sacrebleu

4. 実験結果

日英および独英の双方向の翻訳タスクの結果を表1に示す．提案手法 Collab-MT は，すべての翻訳タスクにおいて既存手法であるProxy-tuningを上回る性能を示した．特に，8Bモデルを使用した独英翻訳においては提案手法が既存手法に対してBLEUスコアを12.73ポイント改善した．また，BERTScoreにおいても，提案手法は既存手法を上回った．

一方で，Zero-shotの大型LLMとの比較では，日英・英日翻訳では同等の性能を示したが，8Bモデルを使用した英独翻訳ではBLEUスコアが6.12ポイント下回る結果となった．また，追加学習を施したモデル（Fine-tuning）はすべてのタスクにおいて提案手法を上回ったものの，独英・英独翻訳ではZero-shotのBLEUスコアを下回る結果となった．この結果は，本提案手法のみでは大型LLMの性能を十分に活かせない場合があることを示している．提案手法は小型LLMと大型LLMの予測確率値を一律に加算しているが，翻訳対象によって加算する割合や加算するかどうかを判定するなどの手法を検討する必要がある．

5. おわりに

本研究では，機械翻訳における協力デコーディングの新たな手法として Collab-MT を提案し，既存手法との比較を通じてその有効性を検証した．提案手法は，出力の差分ではなく小型LLMの出力そのものを活用することで，翻訳性能の向上を実現した．実験結果からは，一部の翻訳タスクでは既存手法を上回る性能を示す一方で，学習設定によっては大型LLMの性能を十分に引き出せない場合があることも確認された．

今後は，より効果的な継続事前学習や追加学習の設計，および小型LLMの選定・組み合わせを選定することで，協力デコーディングの性能向上に取り組む．なお，本稿は言語処理学会第31回年次大会の発表論文に基づいて作成した [8]．

6. 謝辞

本研究成果は，国立研究開発法人情報通信研究機構の委託研究（課題225）により得られたものです．

7. 参考文献

[1] Xu, Haoran, et al. “A paradigm shift in machine translation: Boosting translation performance of large language models.” In International Conference on Learning Representations (ICLR), 2024.

[2] Alves, Duarte M., et al. “Tower: An open multilingual large language model for translation-related tasks.” arXiv preprint arXiv:2402.17733, 2024.

[3] Lu, Jinliang, et al. “Merge, ensemble, and cooperate! a survey on collaborative strategies in the era of large language models.” arXiv preprint arXiv:2407.06089, 2024.

[4] Liu, Alisa, et al. “Tuning language models by proxy.” arXiv preprint arXiv:2401.08565, 2024.

[5] Papineni, et al. 2002. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pages 311–318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

[6] Grattafiori, Aaron, et al. “The llama 3 herd of models.” arXiv preprint arXiv:2407.21783, 2024.

[7] Zhang, Tianyi, et al. “Bertscore: Evaluating text generation with bert.” arXiv preprint arXiv:1904.09675, 2019.

[8] 白井尚登他．複数のLLMを活用した機械翻訳のための協力デコーディング．言語処理学会第31回年次大会発表論文集, 2025．