【論文解説】Kneser-Ney Smoothing on Expected Counts

文責：菊地真人

著者：Hui Zhang, David Chiang
会議名：ACL 2014
開催年：2014

どんなもの？

Kneser-Ney（KN）スムージングは最良の性能を持つスムージング手法の一つである．しかし，このスムージング手法は整数のカウントのみを仮定しており，用途が限られている．そこで，KNスムージングが実数のカウント（正確にはカウントの分布と表現）を扱えるように一般化した．一般化したKNスムージングを(1)言語モデルのドメイン適応，(2) 単語アライメントに応用し，大幅な性能向上を確認した．

先行研究と比較して

実数のカウントを扱うスムージング手法は，これまでにいくつか提案されてきた．それらと比較して本手法は推定性能および計算効率が良い．

技術や手法の要点

一般のKNスムージングと同様の手順で，実数のカウントを扱うKNスムージングを導出した．これにより，計算の複雑性は一般のKNスムージングとほぼ同等に抑えられた．さらに現在，よく用いられているModified Kneser-Ney（MKN）スムージングにもこの一般化を拡張した．

有効性の検証

二つのタスクで有効性を確認した．

(1) 言語モデルのドメイン適応

様々なドメインを含む大規模なデータ，および特定ドメインの小規模なデータ（例えば，小規模なニュースコーパス）を用いて別々に言語モデルを学習し，特定ドメインに相応しい文を選択する．その際に，特定ドメインに各文が属する確率を割り当て，本稿で提案したKNスムージングを用いて言語モデルを訓練する．他手法と比較して，提案手法は一貫して最も低いパープレキシティを達成した．

(2) 単語アライメント

フランス語の文とその英訳が与えられたとき，フランス語のある一単語が英語の一単語に対応すると仮定する．単語間の対応を潜在変数と捉えて，英訳がフランス語の文を生成する確率を計算する．この確率計算に，本稿で提案したKNスムージングを用いる．他手法と比較して，提案手法は最高のF1値を達成し，さらにBLUEのスコアも最高であった．

議論の余地はあるか

実数のカウントを扱うn-gram確率の計算に応用できる（例えば，EMアルゴリズムを用いた計算など）．

人工知能・機械学習・自然言語処理周辺の技術情報

目次