人工知能・機械学習・自然言語処理周辺の技術情報

技術解説
研究ブログ
自然言語処理
非エンジニア向け

【自然言語処理入門】日本語のストップワード/正規表現とその考察【品詞別】

執筆:内野良一

ストップワードの除去は自然言語処理における前処理のなかでも重要です.
解析の精度を上げるために不要な記号や単語を等をデータセットから除去します.
ストップワードの選定にはタスクに特化した分析が必要ですが,ある程度整理されているデータがあるととても助かります.
そこで,今回は私が自然言語処理のタスクでよく行う,日本語のストップワードについてまとめました.
また単語の分布などから,品詞ごとのストップワードに対する考察も行いました.
このことからストップワードを介して自然言語処理のあまり語らることのない知識などをご共有できればと思います.
(この記事の考察部分は主に自然言語処理の初心者を対象とした入門記事です.)

(more…)

記事内容に関するお詫び

平素は大変お世話になっております。
ミエルカAIブログ 編集チーム一同です

本記事(https://mieruca-ai.com/ai/fisherian-bayesian/ ※現在は内容非公開)の内容に
誤りや誤解を招く表現が、ございました。

つきましては、指摘いただいたご記載含め、
まずは、記事内容の取り下げを早々に行いました。(2019年7月16日10時35分)
今後、内容につきましては、鋭意検討していく所存です。

お手数をおかけしまして、恐縮の至りではございますが
何卒よろしくお願いいたします。
この度は、多大なるご迷惑をおかけしましたことを
心よりお詫び申し上げます。

今後このようなことのないように徹底してまいります。
どうぞよろしくお願いいたします。

ミエルカAIブログ 編集チーム一同

【技術解説】確率的潜在意味解析(PLSA)のアルゴリズムと応用

執筆:内野良一

今回は潜在意味解析(Latent Semantic Analysis: LSA)を確率的に発展させたトピックモデル確率的潜在意味解析(PLSA)について解説します.
このモデルを使うと潜在的な意味をトピックとして抽出でき,そのトピック内で単語と文書が出現する確率がわかります.主に既存のデータの分析に用いられています.

(more…)

【技術解説】潜在意味解析(LSA) ~特異値分解(SVD)から文書検索まで~

執筆:内野良一

今回は潜在意味解析(Latent Semantic Analysis: LSA)特異値分解(Singular Value Decomposition: SVD)について解説します.
LSAは文書の分類や,情報検索の分野(この分野ではLSIとして知られる)などに使われるトピックモデルの代表例として知られています.
このモデルを使うと,単語と文書のそれぞれの組み合わせについて,類似度を測れるようになります.

(more…)

動的計画法がわかる!ダイクストラ法の実装(Python)や問題への適用手順

執筆:金子冴
校閲:内野良一

今回は,Viterbiアルゴリズムの解説(【技術解説】HMMに基づいたViterbiアルゴリズムによる解推定手法(例題つき))をした際に登場した動的計画法について,その解説と,簡単な例を用いたプログラム(Python)での実装例を紹介する.また,問題文から動的計画法を用いて問題を解決する際のプロセス(漸化式の作成方法等)についても触れながら,具体的な応用方法について確認する.まずは,動的計画法とはどういうものなのか,概要を確認しよう.

(more…)

【人工知能(AI)】ディープラーニングの仕組み!中学生でもなんとなくわかる!【入門】

執筆:内野良一

人工知能(AI)DeepLearning(ディープラーニング),この頃よく聞きますよね.
しかし,いまいち何なのかよくわからないという人は多いのではないでしょうか.
私の周りの人たちも教養として興味はあるけれども,数式が出てくると何がなんだかという人が多いようです.
また,人工知能やディープラーニングをビジネスに応用したいけど何ができるのか全く見当もつかないといった人も多いようです.
そもそも,ディープラーニングとはなんのことなんでしょう.AIや機械学習との違いはどこにあるのでしょう.
そこで今回はエンジニアや理系の学生でない人に向けて,ディープラーニング(主にその基礎となるニューラルネット)の仕組み原理アルゴリズム種類,それが何の役に立つのかについて解説してみようと思います.
このような場合には,よくわからない記号が出てくる数式は避けるべきだと思います.
しかし,すべてを包み隠されて説明しても納得できないと思うので,今回は入門者初学者を対象に中学校で習う範囲の知識で,簡単になんとなく理解できるように工夫して書いてみます.
難しい部分は数式の代わりに図解していきます.
もしこの記事で興味を持ってもっと知りたいと思ったら,線形代数微分積分統計学を勉強してみることをおススメします.

(more…)