AAMTジャーナル「機械翻訳」No. 83 多言語文符号化器からの言語非依存な文埋め込みの抽出
1. 概要
本研究では、多言語文符号化器から得られる文埋め込みを、言語に依存しない情報である意味表現と、言語固有の情報を持つ言語表現に分離し、言語横断の文間類似度推定の性能を改善する。これにより、言語間の埋め込みの差異を抑制し、文の類似度をより正確に推定できることを確認した。
2．はじめに
近年、文符号化器を用いて文章を文埋め込みに変換し、そのベクトル類似度を自然言語処理タスクに応用する手法が主流となっている[1,2,3]。これを多言語に拡張した多言語文符号化器も盛んに開発されている[4,5,6]が、異言語間の文埋め込みの類似度推定には課題が残されている。その要因は、多言語文符号化器の文埋め込みが文章の意味そのものよりも、言語的特徴に強く影響されてしまう点にある[7]。その結果、同一の意味を持つ文であっても、言語が異なると文埋め込みが乖離し、意味的類似度の正確な推定が困難となる。この問題に対し、先行研究では、文埋め込みから、言語に共通する意味の情報と言語ごとの特徴をそれぞれ別のモデルで抽出・分離するアプローチが取られてきた[7,8]。しかし、この方法では分離の過程で元の文埋め込みが持つ情報の一部が失われ、自然言語処理タスクの精度が低下するという欠点があった。
そこで本研究では、意味の情報を抽出するモデルのみを訓練し、言語表現を元の文埋め込みと意味表現との差分として扱う手法を提案する。この構造により、情報を失うことなく、より正確な意味表現の獲得が見込める。機械翻訳の品質推定タスク[9]で性能を評価した結果、提案手法は従来手法を上回る結果を達成した。
3． 提案手法
先行研究のDREAM[7]とMEAT[8]では、言語に依存しない意味表現と言語固有の情報をもつ言語表現の分離のために、2つの多層パーセプトロン (MLP)で構成されていたのに対し、本研究では1つのMLPで構成する。多言語文符号化器から得られる文埋め込み 𝑒をMLPに通し、意味表現 𝑒̂𝑀を抽出する。文埋め込み 𝑒と抽出した意味表現 𝑒̂𝑀の減算結果を言語表現 𝑒̂𝐿とすることで、意味と言語情報の分離を目指す。以下に意味表現と言語表現の獲得方法を示す。
𝑒̂𝑀=𝑀𝐿𝑃(𝑒) (1)
𝑒̂𝐿=𝑒− 𝑒̂𝑀 (2)
提案手法では、意味表現抽出器 MLPを以下の4つの損失関数に基づくマルチタスク学習によって訓練する。
𝐿 =𝐿𝑆+ 𝐿𝑀+ 𝐿𝐿+ 𝐿𝐶 (3)
文表現分離損失 𝑳𝑺
本研究では、文埋め込み 𝑒から意味表現 𝑒̂𝑀を抽出し、文埋込みと意味表現の差分を言語表現 𝑒̂𝐿として獲得する。この文表現分離損失は意味表現と言語表現を分離させることを促す。原言語文、目的言語文側の両方に以下に損失をとる。
𝐿𝑆=max(0,cos(𝑒̂𝑀,𝑒̂𝐿)). (4)
意味表現損失 𝑳𝑴
抽出した対訳の意味表現同士は類似させ、対訳でない意味表現同士は類似させない。原言語文 𝑠と目的言語文 𝑡は意味的に等価であるため、原言語文の意味表現 𝑠̂𝑀と目的言語文の意味表現 𝑡̂𝑀を近づけることで𝑀𝐿𝑃を訓練する。また、バッチ内から、ランダムに同言語の文 𝑠′,𝑡′を取得し、意味表現 𝑠̂′𝑀,𝑡′𝑀を抽出する。
ランダムに得た同言語の意味表現は意味的に等価でないため、それぞれ𝑠̂𝑀,𝑡̂𝑀と遠ざける。以下に意味表現損失を定義する。
𝐿𝑀=2(1−cos(𝑠̂𝑀,𝑡̂𝑀))+ max(0,cos(𝑠̂𝑀,𝑠̂′𝑀))+ max(0,cos(𝑡̂𝑀,𝑡̂′𝑀)) (5)
ここで、類似させる重みと類似させない重みを一致させるために値が2倍になっている点に注意されたい。
言語表現損失 𝑳𝑳
多言語文符号化器から得られる文埋め込みと抽出した意味表現の差分として得た言語表現は、同一言語同士、つまり、𝑠,𝑠′間および𝑡,𝑡′間を類似させる。以下に言語表現損失を定義する。
𝐿𝐿=(1−cos(𝑠̂𝐿,𝑠̂′𝐿))+(1−cos(𝑡̂𝐿,𝑡̂′′𝐿)) (6)
交差復元損失 𝑳𝑪
本研究では、文埋め込みを意味と言語に分離することが目的としている。既存研究であるDREAM [7]とMEAT [8]は、分離させた意味と言語から文埋め込みを復元するという損失関数を実装しているが、提案手法では、構造的に復元損失を取っても誤差が生じない。そこで、対訳コーパスの意味表現同士を置換したり、同言語の言語表現同士を置換したりすることで、損失を取る。以下に交差復元損失を定義する。
𝐿𝐶=(1−cos(𝑠̂,𝑠̂𝑀+ 𝑠̂′𝐿))+ (1−cos(𝑡̂,𝑡̂𝑀+ 𝑡̂′𝐿)) + (1−cos(𝑠̂,𝑡̂𝑀+ 𝑠̂𝐿))+ (1−cos(𝑡̂,𝑠̂𝑀+ 𝑡̂𝐿)) (7)
第1項と第2項は同一言語同士の言語表現を互いに置換できることを、第3項と第4項は対訳文対同士の意味表現同士を置換できることを表している。
4． 評価実験
WMT20における機械翻訳の品質推定 (QE : Quality Estimation) タスクで提案手法を評価する。QEは機械翻訳の出力文と、原言語文を入力として、出力文の翻訳品質を推定するタスクである。本研究では、出力文と原言語文の類似度を推定値とする。公式の評価方法に従い，モデルが推定した翻訳品質推定値と人手評価値とのピアソン相関によって性能を評価する。
4.1 実験設定
データセット WMT20のQEタスクには、6つの言語対が含まれている。6つの言語対の内訳は，英語からドイツ語 (en-de) および英語から中国語 (en-zh) の多資源言語対、ルーマニア語から英語 (ro-en) およびエストニア語から英語 (et-en) の中資源言語対、ネパール語から英語 (ne-en) およびシンハラ語から英語 (si-en) の少資源言語対である。各言語対において、1,000 文対の原言語文および機械翻訳の出力文と、人手評価値の組が提供されている。評価用の機械翻訳器はfairseqツールキット[10]を用いて訓練されたTransformerモデル[11]である。訓練には、先行研究[8]と同量のコーパスを使用し、多資源言語対は100万文対、中資源言語対は20万文対、少資源言語対は5万文対用いた。
モデル 本研究では、MLPに1層のフィードフォワードニューラルネットワークを用いた。多言語文符号化器はmE5[12]を用いた。用いる文埋め込みは最終層の平均プーリングを用いた。提案手法ではバッチサイズを512、最適化手法をAdam[13]とし、学習率は先行研究[8]に則り、10-4としてHuggingFace Transformers[14]を用いて訓練した。検証データは訓練用データから無作為に10%ずつ抽出し、検証データにおける式 (3)の損失が5エポック改善しない場合に訓練を終了した。
なお、訓練するのはMLPのみであり、多言語文符号化器は訓練しない。
4.2 実験結果
表1にQEタスクの実験結果を示す。表1の各段は上から、元の文埋め込みによるQEタスク、既存手法[7, 8]、提案手法の結果を示したものである。モデル全体の性能の平均値に注目すると、提案手法は既存手法を上回り、その有効性を示す結果となった。特に、中資源言語対のet-en、及び少資源言語対のne-en、si-enにおいても一貫して性能が向上した。
表1．WMT20 品質推定タスクにおける人で評価とのピアソン相関係数
5． おわりに
本研究では、多言語文符号化器から得られる文埋め込みを言語に依存しない情報を持つ意味表現と、言語固有の情報を持つ言語表現に分離する手法を提案した。
抽出した意味表現を機械翻訳の品質推定タスクに用いることで、提案手法によるQE性能の向上を確認できた。提案手法はQE性能を向上させただけでなく、既存手法であるDREAM、MEATと比較しても有効性を確認できた。提案手法は、言語表現を獲得する際に、元の文埋め込みと抽出した意味表現の差分によって獲得する。この方法により、抽出時の情報欠落を防ぎ、QE タスクの性能改善に寄与することを確認した。
参考文献
[1] Cer, D., et al.: SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation, In SemEval, pp. 1–14 (2017).
[2] Reimers, N., Gurevych, I.: Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, In EMNLP, pp. 3982–3992 (2019).
[3] Wang, L., et al.: Text Embeddings by Weakly-Supervised Contrastive Pre-training, arXiv:2212.03533 (2022).
[4] Reimers, N., Gurevych, I.: Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation, In EMNLP, pp. 4512–4525 (2020).
[5] Feng, F., et al.: Language-agnostic BERT Sentence Embedding, In ACL, pp. 878–891 (2022).
[6] Wang, L., et al.: Multilingual E5 Text Embeddings: A Technical Report, arXiv:2402.05672 (2024).
[7] Tiyajamorn, N., et al.: Language-agnostic Representation from Multilingual Sentence Encoders for Cross-lingual Similarity Estimation, In EMNLP, pp. 7764–7774 (2021).
[8] Kuroda, Y., et al.: Adversarial Training on Disentangling Meaning and Language Representations for Unsupervised Quality Estimation, In COLING, pp. 5240–5245 (2022).
[9] Specia, L., et al.: Findings of the WMT 2020 Shared Task on Quality Estimation, In WMT, pp. 743–764 (2020).
[10] Ott, M., et al.: fairseq: A Fast, Extensible Toolkit for Se- quence Modeling, in NAACL, pp. 48–53 (2019)
[11] Vaswani, A., et al.: Attention is All you Need, in NIPS, pp. 5998–6008 (2017)
[12] Wang, L., et al.: Multilingual E5 Text Embeddings: A Technical Report, arXiv:2402.05672 (2024)
[13] Kingma, D. P.Ba, J. L.: Adam: A Method for Stochas- tic Optimization, in ICLR (2015)
[14] Wolf, T., et al.: Transformers: State-of-the-art Natural Language Processing, in EMNLP, pp. 38–45 (2020)
