人工知能・機械学習・自然言語処理周辺の技術情報

2018-10-02

【論文解説】Kneser-Ney Smoothing on Expected Counts

文責:菊地真人

著者:Hui Zhang, David Chiang
会議名:ACL 2014
開催年:2014

目次

どんなもの?
先行研究と比較して
技術や手法の要点
有効性の検証
議論の余地はあるか

どんなもの?

Kneser-Ney(KN)スムージングは最良の性能を持つスムージング手法の一つである.しかし,このスムージング手法は整数のカウントのみを仮定しており,用途が限られている.そこで,KNスムージングが実数のカウント(正確にはカウントの分布と表現)を扱えるように一般化した.一般化したKNスムージングを(1)言語モデルのドメイン適応,(2) 単語アライメントに応用し,大幅な性能向上を確認した.

先行研究と比較して

実数のカウントを扱うスムージング手法は,これまでにいくつか提案されてきた.それらと比較して本手法は推定性能および計算効率が良い.

技術や手法の要点

一般のKNスムージングと同様の手順で,実数のカウントを扱うKNスムージングを導出した.これにより,計算の複雑性は一般のKNスムージングとほぼ同等に抑えられた.さらに現在,よく用いられているModified Kneser-Ney(MKN)スムージングにもこの一般化を拡張した.

有効性の検証

二つのタスクで有効性を確認した.

(1) 言語モデルのドメイン適応

様々なドメインを含む大規模なデータ,および特定ドメインの小規模なデータ(例えば,小規模なニュースコーパス)を用いて別々に言語モデルを学習し,特定ドメインに相応しい文を選択する.その際に,特定ドメインに各文が属する確率を割り当て,本稿で提案したKNスムージングを用いて言語モデルを訓練する.他手法と比較して,提案手法は一貫して最も低いパープレキシティを達成した.

(2) 単語アライメント

フランス語の文とその英訳が与えられたとき,フランス語のある一単語が英語の一単語に対応すると仮定する.単語間の対応を潜在変数と捉えて,英訳がフランス語の文を生成する確率を計算する.この確率計算に,本稿で提案したKNスムージングを用いる.他手法と比較して,提案手法は最高のF1値を達成し,さらにBLUEのスコアも最高であった.

議論の余地はあるか

実数のカウントを扱うn-gram確率の計算に応用できる(例えば,EMアルゴリズムを用いた計算など).