統計ER

統計ソフトRの使い方を中心に、統計解析方法の解説をするブログ。ありそうでなかなか見つからないサンプルサイズ計算などニッチな方法について紹介しています。

統計ソフトRでテキストマイニングをやろう!

ブログランキングに参加しています。
まずはぽちぽちっとお願いします。
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
にほんブログ村 科学ブログ 数学へ

統計ソフトRでテキストマイニングをやろう!

もちろん全部無料!

テキストマイニングとは?

テキストデータを名詞、動詞、形容詞など、濃い意味合いを持つ言葉と、助詞、助動詞、感嘆詞、疑問詞など意味合いが強くない言葉に分けて、発生頻度を分析する方法。

たくさんの顧客・症例から発せられる言葉は何か、同時に発せられる言葉は何か、たくさん発せられた言葉は、どんな属性の顧客・症例が発しているのか。

分析によって、傾向・流行・トレンド、意外な結びつき、いままで見えてこなかったまれな趣味趣向など、多種多様に分散した顧客のニーズやさまざまな情報を持つことで細分化された行動をとる症例などの新たな発見につながる。

 一人一人の顧客の声を、マスとしてとらえたら、どんな風景が見えるか。

それが、テキストマイニングの醍醐味だ。

テキストマイニングツールMeCab(和布蕪、めかぶ)

統計ソフトRでテキストマイニングを行うには、さきにテキストマイニングツールをインストールする。その名もMeCab(めかぶ)だ。

MeCabは、京都大学とNTTの研究所の共同研究プロジェクトで開発されたソフトウェア。以下のページから無料でダウンロードしてインストールできる。

MeCab: Yet Another Part-of-Speech and Morphological Analyzer

インストールは、インストーラーのおおせのままに、OKしていくと完了する。

 動かしてみると確かに名詞と助詞・助動詞に分かれる。かしこい! f:id:toukeier:20181010200349p:plain

統計ソフトRでMeCabを使うにはRMeCabをインストール!

以下のサイトからRMeCabをインストールさせてもらう。

RMeCab - アールメカブ

install.packages("RMeCab", repos = "http://rmecab.jp/R")

使うときはlibrary()

library(RMeCab)

時は金なりをテキスト分割してみる。

res <- RMeCabC("時は金なり")
unlist (res)
> res <- RMeCabC("時は金なり")
> unlist (res)
  名詞   助詞   名詞 助動詞 
  "時"   "は"   "金" "なり" 

人生は一度きりはどうか。

> res <- RMeCabC("人生は一度きり")
> unlist (res)
  名詞   助詞   名詞   名詞   名詞 
"人生"   "は"   "一"   "度" "きり" 

こんな感じに分割される。

このように言葉が分割されれば、発せられた回数を数えることが可能になる。似たような言葉を集めることや、一つの文章や一人のコメントの中で同時に発せられた言葉を同定することが可能になる。

ワードクラウド

ワードクラウドは直訳すれば言葉の雲。

発せられた頻度が多い言葉が大きく目立つように表示され、言葉の塊がまるで雲のように見える視覚に訴えるまとめ方。

wordcloudパッケージをインストールして使う。

install.packages("wordcloud")

ワードクラウドを作る前に、テキストデータを整理する。

今回使うのはTwitterTweetデータ。TwitterTweetを取り出す方法はこちら。

toukeier.hatenablog.com

  • テキストデータだけのファイルを用意する。

tweets.csvには投稿日時情報などが含まれる。textという列だけを取り出して他はすべて削除した。タブ区切りテキストにしておいた。Google Sheetを使った。

一つ注意点。TweetsはUTF-8という文字コードだ。MeCabをインストールするときにShit-JISを選んだならば、文字コードUTF-8からShit-JISに変換する必要がある。変換ソフトはこちらを使った。

FileCode Checkerの詳細情報 : Vector ソフトを探す!

  • RMeCabFreq()で言葉を分割して集計する。
w.tweets <- RMeCabFreq("C:/data/tweets.tsv")
  • 注目する品詞だけに絞る。今回は名詞だけにする。
w.tweets.n1 <- subset(w.tweets, Info1=="名詞")
  • 名詞の中のさらにいらない種類を削除する。
type <- c("数","非自立","接尾")
w.tweets.n2 <- subset(w.tweets.n1, !Info2 %in% type)

kigo <- c("@", ".", "/", "t", "://", "#", ":", "co", "RT", "https", "_", "(", ")", "inc", "-", "Nn", "tlbQ", "uqSDp", "via", "ー", "♪")
w.tweets.n2 <- subset(w.tweets.n2, !Term %in% kigo)
  • 高頻度の言葉順に並べ替える。
w.tweets.n3 <- w.tweets.n2[order(w.tweets.n2$Freq, decreasing=T),]
  • 高頻度から必要なところまでに区切る。

n=で区切りを指定するのだが、いくつを指定すればよいかわからないため、最初は少し多めに表示させて、発言頻度例えば30回以上とかに最終的に区切れるようにn=を決める。

今回は38個まで使えば、30回以上発言している言葉がカバーできることが分かったので、n=38とした。

w.tweets.n4 <- head(w.tweets.n3, n=38)
w.tweets.n4
> w.tweets.n4
               Term Info1        Info2 Freq
4752             犬  名詞         一般  271
4544           介助  名詞         一般  204
4230         ヘルプ  名詞         一般  151
5102           障害  名詞         一般  141
2256           補助  名詞     サ変接続  137
5162             人  名詞         一般  130
1689         マーク  名詞     サ変接続  117
5670         盲導犬  名詞         一般   94
7514           今日  名詞     副詞可能   90
3444         woofoo  名詞         一般   57
7377           これ  名詞       代名詞   57
4902             子  名詞         一般   56
4416         ワンコ  名詞         一般   55
1615         お願い  名詞     サ変接続   51
3099       kaijoken  名詞         一般   51
6803           日本  名詞     固有名詞   50
2870          barry  名詞         一般   49
4745             月  名詞         一般   46
4350       ユーザー  名詞         一般   45
7404             私  名詞       代名詞   44
3774         カード  名詞         一般   43
5113           情報  名詞         一般   42
7382           それ  名詞       代名詞   41
4932           視覚  名詞         一般   39
5244           全国  名詞         一般   39
5946           必要  名詞 形容動詞語幹   38
5161           身体  名詞         一般   37
5211             声  名詞         一般   37
2249           保護  名詞     サ変接続   35
2636       OpenGate  名詞         一般   35
2343             AL  名詞         一般   34
2696        SPkaeru  名詞         一般   34
1928           支援  名詞     サ変接続   33
4156 パラリンピック  名詞         一般   32
1740           応援  名詞     サ変接続   31
3113      kogumaken  名詞         一般   31
4979           自分  名詞         一般   31
7400             何  名詞       代名詞   30

ここまできて初めてワードクラウドを表示させる。

library(wordcloud)
pattern <- brewer.pal(8, "Dark2")
wordcloud(w.tweets.n4$Term, w.tweets.n4$Freq, min.freq=30, colors=pattern)

出来上がりはこちら。出現頻度が高い言葉は大きく表示される。

f:id:toukeier:20181014223312p:plain

その他の解析

ワードクラウド以外にも共起ネットワークとか、対応分析とか、結果としてわかりやすくて、おもしろい解析はできる。

共起ネットワークは、KH Coderのほうが、ずっと簡単に素晴らしい図が描けるのでそちらをつかったほうがいい。KH Coderの使い方はこちら。

toukeier.hatenablog.com

対応分析は、Tweetテキストでは対応させる属性がないという理由で分析できないため今回は割愛。対応分析(コレスポンデンス分析)の方法はこちら。

toukeier.hatenablog.com

まとめ

統計ソフトRを使ったテキストマイニングを紹介した。

TwitterのTweetsテキストを用いて、MeCabとRMeCabを使った言葉の抽出と、Wordcloudパッケージを使ったワードクラウド描画を行ってみた。

統計ソフトRでテキストマイニングをやろう!ワードクラウドを描こう!【動画】(2020年10月3日)

解説動画を作ったので、よければどうぞ。

youtu.be