統計ソフトRでテキストマイニングをやろう！
もちろん全部無料！
- テキストマイニングとは？
- テキストマイニングツールMeCab（和布蕪、めかぶ）
- 統計ソフトRでMeCabを使うにはRMeCabをインストール！
- ワードクラウド
- その他の解析
- まとめ
- 統計ソフトRでテキストマイニングをやろう！ワードクラウドを描こう！【動画】（2020年10月3日）
テキストマイニングとは？
テキストデータを名詞、動詞、形容詞など、濃い意味合いを持つ言葉と、助詞、助動詞、感嘆詞、疑問詞など意味合いが強くない言葉に分けて、発生頻度を分析する方法。
たくさんの顧客・症例から発せられる言葉は何か、同時に発せられる言葉は何か、たくさん発せられた言葉は、どんな属性の顧客・症例が発しているのか。
分析によって、傾向・流行・トレンド、意外な結びつき、いままで見えてこなかったまれな趣味趣向など、多種多様に分散した顧客のニーズやさまざまな情報を持つことで細分化された行動をとる症例などの新たな発見につながる。
一人一人の顧客の声を、マスとしてとらえたら、どんな風景が見えるか。
それが、テキストマイニングの醍醐味だ。
テキストマイニングツールMeCab（和布蕪、めかぶ）
統計ソフトRでテキストマイニングを行うには、さきにテキストマイニングツールをインストールする。その名もMeCab（めかぶ）だ。
MeCabは、京都大学とNTTの研究所の共同研究プロジェクトで開発されたソフトウェア。以下のページから無料でダウンロードしてインストールできる。
MeCab: Yet Another Part-of-Speech and Morphological Analyzer
インストールは、インストーラーのおおせのままに、OKしていくと完了する。
動かしてみると確かに名詞と助詞・助動詞に分かれる。かしこい！
統計ソフトRでMeCabを使うにはRMeCabをインストール！
以下のサイトからRMeCabをインストールさせてもらう。
install.packages("RMeCab", repos = "http://rmecab.jp/R")
使うときはlibrary()
library(RMeCab)
時は金なりをテキスト分割してみる。
res <- RMeCabC("時は金なり") unlist (res)
> res <- RMeCabC("時は金なり") > unlist (res) 名詞 助詞 名詞 助動詞 "時" "は" "金" "なり"
人生は一度きりはどうか。
> res <- RMeCabC("人生は一度きり") > unlist (res) 名詞 助詞 名詞 名詞 名詞 "人生" "は" "一" "度" "きり"
こんな感じに分割される。
このように言葉が分割されれば、発せられた回数を数えることが可能になる。似たような言葉を集めることや、一つの文章や一人のコメントの中で同時に発せられた言葉を同定することが可能になる。
ワードクラウド
ワードクラウドは直訳すれば言葉の雲。
発せられた頻度が多い言葉が大きく目立つように表示され、言葉の塊がまるで雲のように見える視覚に訴えるまとめ方。
wordcloudパッケージをインストールして使う。
install.packages("wordcloud")
ワードクラウドを作る前に、テキストデータを整理する。
今回使うのはTwitterのTweetデータ。TwitterのTweetを取り出す方法はこちら。
- テキストデータだけのファイルを用意する。
tweets.csvには投稿日時情報などが含まれる。textという列だけを取り出して他はすべて削除した。タブ区切りテキストにしておいた。Google Sheetを使った。
一つ注意点。TweetsはUTF-8という文字コードだ。MeCabをインストールするときにShit-JISを選んだならば、文字コードをUTF-8からShit-JISに変換する必要がある。変換ソフトはこちらを使った。
FileCode Checkerの詳細情報 : Vector ソフトを探す！
- RMeCabFreq()で言葉を分割して集計する。
w.tweets <- RMeCabFreq("C:/data/tweets.tsv")
- 注目する品詞だけに絞る。今回は名詞だけにする。
w.tweets.n1 <- subset(w.tweets, Info1=="名詞")
- 名詞の中のさらにいらない種類を削除する。
type <- c("数","非自立","接尾") w.tweets.n2 <- subset(w.tweets.n1, !Info2 %in% type) kigo <- c("@", ".", "/", "t", "://", "#", ":", "co", "RT", "https", "_", "(", ")", "inc", "-", "Nn", "tlbQ", "uqSDp", "via", "ー", "♪") w.tweets.n2 <- subset(w.tweets.n2, !Term %in% kigo)
- 高頻度の言葉順に並べ替える。
w.tweets.n3 <- w.tweets.n2[order(w.tweets.n2$Freq, decreasing=T),]
- 高頻度から必要なところまでに区切る。
n=で区切りを指定するのだが、いくつを指定すればよいかわからないため、最初は少し多めに表示させて、発言頻度例えば30回以上とかに最終的に区切れるようにn=を決める。
今回は38個まで使えば、30回以上発言している言葉がカバーできることが分かったので、n=38とした。
w.tweets.n4 <- head(w.tweets.n3, n=38) w.tweets.n4
> w.tweets.n4 Term Info1 Info2 Freq 4752 犬 名詞 一般 271 4544 介助 名詞 一般 204 4230 ヘルプ 名詞 一般 151 5102 障害 名詞 一般 141 2256 補助 名詞 サ変接続 137 5162 人 名詞 一般 130 1689 マーク 名詞 サ変接続 117 5670 盲導犬 名詞 一般 94 7514 今日 名詞 副詞可能 90 3444 woofoo 名詞 一般 57 7377 これ 名詞 代名詞 57 4902 子 名詞 一般 56 4416 ワンコ 名詞 一般 55 1615 お願い 名詞 サ変接続 51 3099 kaijoken 名詞 一般 51 6803 日本 名詞 固有名詞 50 2870 barry 名詞 一般 49 4745 月 名詞 一般 46 4350 ユーザー 名詞 一般 45 7404 私 名詞 代名詞 44 3774 カード 名詞 一般 43 5113 情報 名詞 一般 42 7382 それ 名詞 代名詞 41 4932 視覚 名詞 一般 39 5244 全国 名詞 一般 39 5946 必要 名詞 形容動詞語幹 38 5161 身体 名詞 一般 37 5211 声 名詞 一般 37 2249 保護 名詞 サ変接続 35 2636 OpenGate 名詞 一般 35 2343 AL 名詞 一般 34 2696 SPkaeru 名詞 一般 34 1928 支援 名詞 サ変接続 33 4156 パラリンピック 名詞 一般 32 1740 応援 名詞 サ変接続 31 3113 kogumaken 名詞 一般 31 4979 自分 名詞 一般 31 7400 何 名詞 代名詞 30
ここまできて初めてワードクラウドを表示させる。
library(wordcloud) pattern <- brewer.pal(8, "Dark2") wordcloud(w.tweets.n4$Term, w.tweets.n4$Freq, min.freq=30, colors=pattern)
出来上がりはこちら。出現頻度が高い言葉は大きく表示される。
その他の解析
ワードクラウド以外にも共起ネットワークとか、対応分析とか、結果としてわかりやすくて、おもしろい解析はできる。
共起ネットワークは、KH Coderのほうが、ずっと簡単に素晴らしい図が描けるのでそちらをつかったほうがいい。KH Coderの使い方はこちら。
対応分析は、Tweetテキストでは対応させる属性がないという理由で分析できないため今回は割愛。対応分析（コレスポンデンス分析）の方法はこちら。
まとめ
統計ソフトRを使ったテキストマイニングを紹介した。
TwitterのTweetsテキストを用いて、MeCabとRMeCabを使った言葉の抽出と、Wordcloudパッケージを使ったワードクラウド描画を行ってみた。
統計ソフトRでテキストマイニングをやろう！ワードクラウドを描こう！【動画】（2020年10月3日）
解説動画を作ったので、よければどうぞ。