人工知能・機械学習・自然言語処理周辺の技術情報
執筆：金子冴
前回の記事(【技術解説】似ている文字列がわかる！レーベンシュタイン距離とジャロ・ウィンクラー距離の計算方法とは)では，文字列同士の類似度(距離)が計算できる手法を紹介した．また，その記事の中で，自然言語処理分野では主に文書，文字列，集合等について類似度を計算する場面が多いことについても触れた．今回は集合同士の類似度を表現する以下の３つの係数と計算方法について解説する．
●Jaccard係数
●Dice係数
●Simpson係数
その前に，自然言語処理で類似度を表す指標について確認しよう．
執筆：金子冴
人はだれしも間違いを犯すものである．徹夜で仕上げた報告書を提出した後，よく見直してみると誤字脱字が山ほど見つかった経験が読者にもあるだろう(もしかすると私だけかもしれないが)．そういう時，もし自動で間違っている単語を見つけてくれるプログラムがあったら…と考える人もいるかもしれない．そこで今回は，文字列同士の似ている度合いを計算する2つの手法を紹介しよう．
●レーベンシュタイン距離(Levenshtein Distance)
●ジャロ・ウィンクラー距離(Jaro-winkler Distance)
執筆：金子冴
世の中には単なるメモ書きから予算案，スポーツ記事や文学作品等，数えられないほどの文書が存在する．例えば，その数多の文書から「スポーツに関する記事が読みたい」と思った時，どれがスポーツに関する文書なのか判断する必要があるだろう．しかし，すべての文書を目で読んで判断することは到底不可能であり，現実的ではない．今回は，数多の文書に含まれる単語の重要度を測る手法であるTF-IDFとOkapi BM25について解説する．
