AAMTジャーナル「機械翻訳」No. 84 機械翻訳出力に対するLLMを用いた後編集
1. はじめに
機械翻訳（machine translation: MT）技術の高度化にともない、ニューラル機械翻訳（neural MT: NMT）の登場以降の翻訳品質は飛躍的に改善し、産業翻訳の現場では人手翻訳からMT出力を人間が修正する後編集（post-editing: PE）ワークフローへの移行が急速に進んでいる。こうした状況のなかで、大規模言語モデル（Large Language Models: LLM）は多様な自然言語処理タスクで顕著な性能を示しており、翻訳品質の面でも初級レベルの人間翻訳者に匹敵するパフォーマンスを発揮することが報告されている。だが、現時点のLLMでも翻訳を単独で完結させるには不十分な場面が存在し、専門的な翻訳品質の要求水準を満たすためには依然として追加的な品質管理が必要とされる。
このギャップを埋める有望なアプローチとして、NMTシステムとLLMを組み合わせた自動PEが注目されている。NMTが生成した翻訳文の誤りをLLMが検出・修正することで、翻訳者が担ってきたPEの一部を代替できる可能性がある。しかしながら、LLMによるPEの性能を体系的に評価した研究はいまだ少なく、定量的な知見は限られている。
本研究では、LLMによる英日機械翻訳PEタスクの精度を多角的に評価することを目的とする。誤り訂正の成否を示す正解率（correct rate） と過剰な書き換えの程度を示す修正率（edit rate） の2つの指標を並行して評価し、それぞれへの影響を定量的に解析する。
評価に用いる要因は、（1）機械翻訳出力に挿入した誤りのタイプ、（2）LLMへの指示文（プロンプト）、（3）使用するLLMのモデルの3つである。正解率の分析にはロジスティック回帰分析を、修正率の分析には三元配置分散分析（ANOVA）を適用し、各要因の主効果および要因間の交互作用を定量的に評価する。これにより、LLMのPE性能に最も強く影響する要因とその組み合わせを特定し、実用的な運用指針を提供することを目指した。
2. 先行研究
2.1 MT-PE
PEについては、人間翻訳者の認知プロセスや作業効率の観点から長年にわたる研究の蓄積がある。Koponenらは、MT誤りのタイプがPE難易度に大きく影響することを報告しており、特に意味的な誤りや省略は表層的・局所的な誤りよりも修正が困難であるとされている[1]。NMT普及後の研究においても、NMT出力に対するPEはSMT（統計的機械翻訳）時代と比較して作業効率が改善される一方、流暢性が高いため誤りの検出が難しくなる傾向があることが示されている[2]。
2.2 LLMを用いた翻訳・PE
LLMによる翻訳タスクの品質評価も活発に行われている。JiaoらはChatGPT（GPT-3.5/4）を多言語翻訳タスクで評価し、GPT-4は高リソース言語対において専門翻訳者に匹敵する水準に達するが、低リソース言語や専門ドメインでは依然として限界があると報告した[3]。また Yanらは GPT-4 と複数レベルの人間翻訳者を網羅的に比較し、初級レベルの翻訳者とは同等であるものの、中・上級の翻訳者には及ばない場合があることを示した[4]。
LLMのPEへの直接的な適用に関しては、Kiらの報告が重要な先行研究である。同研究では、MQMアノテーションによる誤り情報をプロンプトに組み込むことで LLaMA-2 のPE精度が改善されることを示しており、外部フィードバックとLLMの能力を統合する方向性を提示している[5]。本研究はこれと問題設定を共有しつつ、誤りの種類・プロンプト・モデルという3つの要因を系統的に操作して精度への影響を定量化する点で新たな貢献を目指すものである。
2.3 LLMにおける過剰修正
LLMを校正・訂正タスクに適用する際に顕在化する問題として、過剰修正（overcorrection / over-editing）がある。これは、モデルが正しい箇所や修正不要な箇所にまで変更を加え、結果として出力品質を低下させる現象である。Katinskaiaらは文法誤り訂正（GEC）タスクにおいてLLMの過剰修正傾向を実証的に示しており、LLMが誤りのない文に対しても書き換えを行う割合が高いことを報告した[6]。翻訳出力へのPEにおいても同様の問題が懸念されており、過剰な書き換えは参照文との乖離を生じさせ、PEの評価指標であるHuman-targeted Translation Edit Rate（HTER）を悪化させる要因となりうる。本研究ではこの問題を定量化するために修正率（edit rate）を独立した評価指標として設定し、過剰修正をもたらす要因の組み合わせを明らかにすることを試みる。
2.4 プロンプトエンジニアリング
LLMの出力はプロンプトの設計に強く依存することが多くの研究によって示されている。Zero-shot prompting は事前例示なしに指示のみでモデルを動かす基本的アプローチであり、Kojimaらは単純なトリガー句を付加するだけで、LLMが多様な推論タスクで性能を発揮すること（Zero-shot-CoT）を示した[7]。Few-shot prompting はプロンプトに少数の入出力例を含めてモデルの挙動を誘導するin-context learningの代表形式であり、Brownらによる評価研究でLLMにおけるその有効性が広く確立された[8]。
Persona prompting は、モデルに専門家としての役割・人格を付与する手法であり、一部のタスクでは応答品質や一貫性の改善が報告されている。しかし、その効果はタスク・ドメインに依存することも知られており、質問応答や推論タスクでは必ずしも有効でない場合もある[9]。Principles-based prompting（原則付与）は守るべき行動原則や制約をプロンプトに明示してモデルの出力を制御する手法であり、BaiらのConstitutional AI（CAI）において、明文化された原則リストによるモデルの自己改訂が有効であることが示された[10]。本研究ではこれら5カテゴリを含む8種類のプロンプトのタイプをPEタスクに対して系統的に比較し、正解率・修正率の両面からプロンプト設計の最適化指針を探索する。
3. 材料と方法
3.1 評価データセット
評価には医薬品開発領域にドメイン特化させた英語→日本語のパラレルコーパスを用いた。日本語側の参照文に対して、人為的に各タイプの誤りを1文あたり1箇所挿入したデータセットを構築し、1条件（誤りタイプ×プロンプト×モデルの組み合わせ）あたり200文を用いた。5種類の誤りタイプ × 8種類のプロンプト × 6種類のモデルの全組み合わせからなる合計48,000件のデータを解析対象とした。なお、本データセットは著者のリポジトリにおいて公開している[1]。
3.2 要因
3.2.1 誤りタイプ（Error Type）
機械翻訳出力に人為的に挿入する誤りを、NMTシステムに典型的に見られる5タイプ（表1）に分類した。
3.2.2 プロンプト（Prompt）
LLMへの指示文として、以下の8タイプを設定した。比較の基準は最低限の指示のみを含むVanillaとした（表2）。なお、プロンプトの具体的な指示文は著者のリポジトリにおいて公開する。
3.2.3 モデル
OpenAI社のAPIを通じて利用可能なGPTモデル6種を比較対象とした。モデルは2世代（GPT-4.1、GPT-5）にまたがり、各世代においてフルサイズ・中規模（mini）・軽量（nano）の3段階の規模のモデルを採用した（表3）。なお、GPT-5系のモデルは低負荷条件での運用を想定し、推論パラメータはreasoning effort = minimal および verbosity = low を指定した 。
3.3 評価指標
3.3.1 正解率（Correct Rate）
後編集によって機械翻訳出力の誤りが正しく訂正されたか否かを二値（正解/不正解）で判定し、各条件における正解率（0〜1の連続値）を算出した。判定は、修正後の出力を参照文と照合することで行った。
3.3.2 修正率（Edit Rate）
後編集によって機械翻訳出力から書き換えられた文字の割合を修正率として定義した（0〜1の連続値）。修正率が高い場合、誤り訂正の範囲を超えた過剰な書き換えが行われていると解釈した。
3.4 統計解析手法
3.4.1 正解率の分析：ロジスティック回帰分析
正解率（二値変数）を目的変数、誤りタイプ・プロンプト・モデルを説明変数とするロジスティック回帰分析を実施した。基準カテゴリは誤りタイプ=num、プロンプト=vanilla、モデル=gpt-4.1とした。有意水準はα = 0.05に設定した。
| 略称 | 誤りタイプ | 説明 |
|---|---|---|
| num | 数値誤り（Numerical Error） | 数字・単位・日付等の誤訳 |
| reperr | 繰り返し誤り（Repetition Error） | 同一単語・フレーズの重複出力 |
| ogen | 湧出し（Over Generation） | 原文にない内容の過剰生成 |
| ugen | 訳抜け（Under Generation） | 原文内容の欠落・省略 |
| semerr | 意味的誤り（Semantic Error） | 意味・語義の誤った翻訳 |
| 略称 | タイプ | 説明 |
|---|---|---|
| vanilla | 基準指示 | 最低限の後編集指示のみ |
| persona | 役割付与 | 翻訳専門家としての役割を指定 |
| context | 背景説明 | タスクの背景・目的を説明 |
| principles | 原則提示 | 指示の範囲と制約を明示 |
| oneshot | 1例示 | 後編集の例を1件提示 |
| fewshot | 複数例示 | 後編集の例を複数件提示 |
| reason | 根拠提示 | 修正根拠を説明するよう指示 |
| score | 自己採点 | 修正結果を自己採点するよう指示 |
| モデル名 | 系統 | 規模 |
|---|---|---|
| gpt-4.1 | GPT-4.1世代 | フル |
| gpt-4.1-mini | GPT-4.1世代 | 中規模 |
| gpt-4.1-nano | GPT-4.1世代 | 軽量 |
| gpt-5 | GPT-5世代 | フル |
| gpt-5-mini | GPT-5世代 | 中規模 |
| gpt-5-nano | GPT-5世代 | 軽量 |
3.4.2 修正率の分析：三元配置分散分析
修正率（連続変数）を目的変数、誤りタイプ・プロンプト・モデルを因子とする三元配置分散分析（ANOVA）を実施した。各要因の主効果に加え、交互作用についても評価した。
4. 結果
4.1 正解率の解析：ロジスティック回帰分析
ロジスティック回帰分析の結果を 図1 に示す。モデルはMLE法によって推定され、収束が確認された。擬似決定係数（Pseudo R²）は 0.2460 であり、正解率の変動を相当程度説明していることが示された 。
図1：ロジスティック回帰分析による正解率の解析結果
4.1.1 誤りタイプの効果
誤りタイプは正解率に対して最も強い影響を示した。基準カテゴリ（num）と比較すると、reperr はオッズ比 exp(2.591) ≈ 13.3 倍の正解しやすさを示した一方、ugen はオッズ比 exp(−3.155) ≈ 0.043 と訂正が最も困難であった。ogen（オッズ比 ≈ 0.062）および semerr（オッズ比 ≈ 0.065）も同様に正解率が大幅に低下した。
4.1.2 プロンプトの効果
プロンプトの影響は誤りタイプと比較して小さいものの、一部のプロンプトは統計的に有意な効果を示した。principles（係数 +0.154, p =0.001）および fewshot（係数 +0.111, p =0.018）は vanilla と比較して正解率を有意に改善した。一方、reason（係数 −0.108, p =0.020）および score（係数 −0.183, p <0.001）は正解率を有意に低下させた。persona、context、oneshотは vanilla と有意差がなかった。
4.1.3 モデルの効果
モデルについては、gpt-4.1 を基準として gpt-4.1-mini（p =0.854）と gpt-5（p =0.886）は有意差がなく、実質的に同等の正解率を示した。一方、軽量モデルである gpt-4.1-nano（係数 −0.478, p <0.001）および gpt-5-nano（係数 −0.642, p <0.001）は有意に低い正解率を示した。gpt-5-mini も有意に低下した（係数 −0.113, p =0.006）。世代（GPT-4.1 vs. GPT-5）による差は正解率において認められなかった。
4.2 修正率の解析：三元配置分散分析
修正率に対する三元配置ANOVAの結果を 図2 に示す。
図2：三元配置分散分析による修正率の解析結果
4.2.1 主効果
プロンプト（F = 663.46, p <0.001）・モデル（F = 614.86, p <0.001）・誤りタイプ（F = 205.07, p <0.001）の3要因すべての主効果が統計的に極めて有意であった。F値の大きさからはプロンプトが修正率に最も強い主効果を持ち、次いでモデル、誤りタイプの順であることが示される。
4.2.2 交互作用
2要因の交互作用についても、プロンプト×モデル（F = 85.98, p <0.001）・誤りタイプ×モデル（F = 7.63, p <0.001）・誤りタイプ×プロンプト（F = 2.00, p =0.001）のすべてが有意であった。特にプロンプト×モデルの交互作用は F = 85.98 と極めて大きく、修正率を規定する上で最も重要な要因の組み合わせであることが示された。一方、3要因の交互作用（誤りタイプ×プロンプト×モデル）は有意でなかった（F = 0.57, p =0.999）。
5.考察
本研究において最も顕著な知見は、LLMによる後編集の正解率が機械翻訳出力に含まれる誤りのタイプに強く依存するという点である。繰り返し誤り（reperr）は正解率が最も高く、数値誤り（num）も高い正解率を示した。これらはいずれも表層的・局所的なパターンとして識別しやすく、LLMがルールに基づいた対処をしやすいと考えられる。
これに対し、訳抜け（ugen）・湧出し（ogen）・意味的誤り（semerr）は正解率が大幅に低下した。訳抜けは原文の一部が日本語出力に反映されておらず、湧出しは原文にない内容が追加されている状態であるが、日本語文として文法的に成立している場合には、LLMがその箇所を誤りとして認識しにくい可能性がある。意味的誤りは文の表層的な形式は正しいが意味内容が誤っており、検出するには意味的整合性を詳細に確認する必要があり、現在のLLMにとって依然として困難なタスクであることが示唆される。
プロンプトエンジニアリングが正解率の改善に寄与し得ることが示されたが、その効果は誤りタイプの影響と比較すると限定的であった。有意に正解率を改善したプロンプトはprinciples（訂正の範囲と制約を明示）およびfewshot（複数の例示）であり、これらは先行研究における知見とも整合的である。指示の原則を明示することで、LLMが過剰な意訳を避け、誤り箇所のみを修正する行動が引き出されたと解釈できる。
一方、reason（修正根拠の提示を求める指示）およびscore（自己採点の指示）は正解率を有意に低下させた。これは、LLMが根拠を生成する過程や自己評価を行う過程で、不必要な修正を加えたり誤り検出の精度が低下したりした可能性を示唆する。
興味深い知見として、モデルの世代（GPT-4.1 vs. GPT-5）は正解率においてほとんど差をもたらさなかった。gpt-4.1 と gpt-5 の正解率は統計的に有意差なく（p =0.886）、gpt-4.1-mini と gpt-5 も同様であった。これは、後編集のような特定の指示追従タスクにおいては、モデルの世代（能力の全般的な向上）よりも他の要因が支配的であることを示唆する。
一方、モデルの規模（パラメータ数）が軽量であることは正解率に明確な影響を与えた。gpt-4.1-nano および gpt-5-nano は有意に低いパフォーマンスを示しており（それぞれ係数 −0.478, −0.642）、軽量モデルでは後編集タスクに必要な精緻な指示理解が十分に達成されない可能性がある。実用的な観点からは、後編集の自動化においてコストと性能のトレードオフを考慮した上でモデルを選択することが重要である。
修正率（edit rate）の分析では、プロンプトとモデルの交互作用が極めて強く（F = 85.98）、過剰な修正を抑制するためにはプロンプトとモデルを個別に最適化するだけでは不十分であり、その組み合わせを考慮する必要があることが明確に示された。
特に顕著だったのは、reason および score プロンプトと nano モデルの組み合わせにおいて修正率が 0.60 を超えるケースが見られた点である。これは、軽量モデルが複雑な指示を適切に処理できず、結果として過剰な書き換えを行ったと考えられる。一方、principlesプロンプトは修正率を大幅に抑制する効果があり、修正の範囲を明示的に制約することで過剰修正を防ぐことができると示唆される。
この知見は、実用上の重要な含意を持つ。翻訳においてLLMを後編集に適用する際には、正しく修正するだけでなく、必要最小限の修正にとどめることが求められる。本研究の結果は、この目標の達成がモデルとプロンプトの適切な組み合わせ選択によって実現しうることを示している。
本研究にはいくつかの限界がある。第一に、評価データセットは人為的に誤りを挿入したものであり、実際のNMTシステムが出力する自然な誤りとは分布が異なる可能性がある。第二に、正解率の判定は参照文との照合によるものであり、参照文と異なる表現であっても許容できる翻訳を不正解と判定された可能性がある。第三に、本研究ではOpenAIのGPTシリーズのみを評価対象としており、他のLLM（LLaMA、Claudeなど）への汎化については検討が必要である。
今後の研究では、実際のNMT出力に対する評価、人間の後編集者との比較、および多言語設定への拡張が課題となる。また、影響が相対的に低いとはいえ、人為的な介入が容易なプロンプトの最適化についてはさらなる検討の余地があり、プロンプト設計の改善が品質保証タスクにおいて有益な効果をもたらすことが期待される。
6. 結論
本研究では、LLMによる英日機械翻訳後編集タスクの性能を3要因（誤りタイプ・プロンプト・モデル）の観点から体系的に評価した。これらの結果は、LLMを翻訳後編集に実用的に活用するためには、誤りタイプの特性に応じた対処、適切なプロンプト設計、モデルとプロンプトの組み合わせ最適化が不可欠であることを示している。本研究の知見は、LLMを活用した翻訳ワークフローの設計・最適化に貢献するものである。
参考文献
- Koponen, M. (2016). Is machine translation post-editing worth the effort? A survey of research into post-editing and effort. The Journal of Specialised Translation, (25), 131-148.
- Zouhar, V., et al. (2021, November). Neural machine translation quality and post-editing performance. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (pp. 10204-10214).
- Jiao, W., et al. (2023). Is ChatGPT a good translator? Yes with GPT-4 as the engine. arXiv preprint arXiv:2301.08745.
- Yan, J., et al. (2024). Gpt-4 vs. human translators: A comprehensive evaluation of translation quality across languages, domains, and expertise levels. arXiv preprint arXiv:2407.03658.
- Ki, D., & Carpuat, M. (2024, June). Guiding large language models to post-edit machine translation with error annotations. In Findings of the Association for Computational Linguistics: NAACL 2024 (pp. 4253-4273).
- Katinskaia, A., & Yangarber, R. (2024, May). GPT-3.5 for grammatical error correction. In Proceedings of the 2024 joint international conference on computational linguistics, language resources and evaluation (LREC-COLING 2024) (pp. 7831-7843).
- Kojima, T., et al. (2022). Large language models are zero-shot reasoners. Advances in neural information processing systems, 35, 22199-22213.
- Brown, T., et al. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.
- Shanahan, M., et al. (2023). Role play with large language models. Nature, 623(7987), 493-498.
- Bai, Y., et al. (2022). Constitutional ai: Harmlessness from ai feedback. arXiv preprint arXiv:2212.08073.
[1] https://github.com/TakeshiHayakawa
