重回帰モデルの評価指標の決定係数と分散分析の検定はどのように使い分ければよいのか？
決定係数とは？
決定係数とは、推定された重回帰モデルが実際のデータにどの程度当てはまっているかを表す指標である。
０から１の範囲の数値をとり、１が完全に当てはまっていると解釈する。
計算式は以下のとおりである。
は決定係数を表すときに用いられる一般的な表記である。
が、従属変数の実測値、
が、従属変数の実測値の平均値、
が、従属変数の予測値である。
従属変数の予測値は、重回帰モデルで予測した値である。
ちなみに、イメージをつかみやすいように式をシンプルにする目的で、添え字は省略してある。
この式がどこから来たのかと言うと、以下の式から来ている。
これは従属変数の全変動を、回帰で説明できる変動と残差の変動に分けることができるという式である。
左辺が従属変数の全変動、右辺の第1項が回帰による変動、第2項が残差による変動である。
両辺を、左辺の従属変数の全変動で割ると、右辺の第1項が決定係数になる。
決定係数は、回帰変動が全変動に対してどれだけ多いか、ということを意味している。
決定係数が１に近づくと、回帰変動が全変動により近い、つまり、重回帰モデルで、全変動の多くの部分を説明できる、すなわち、重回帰モデルがデータに当てはまっている、というふうに解釈するわけである。
決定係数は、１に近いとより当てはまっているという評価が可能である点で、指標としてわかりやすい。
ちなみに、決定係数がどのくらいであればよいかは、過去記事参照。
モデルの分散分析
では、重回帰モデルの分散分析はどのようになっているか。
重回帰モデルの分散分析というのは、重回帰モデルの統計学的有意性の検定である。
有意水準5％で棄却されれば、重回帰モデルが統計学的に意味がある、と言える。
重回帰モデルの有意性の分散分析は以下のように計算される。
| 変動の種類 | 平方和 | 自由度 | 平均平方 | F | 有意確率 |
|---|---|---|---|---|---|
| 回帰 | |
|
|
|
|
| 残差 | |
|
|
||
| 全体 | |
|
ここでも変動が登場する。
回帰の変動と全体の変動の比が、決定係数であることは上記で述べたが、決定係数に登場する変動がこちらにも登場しているわけである。
ここで、回帰変動の自由度は、独立変数の数である。
はサンプルサイズである。
変動は平方和とも呼ばれる。
何かの差の2乗（平方）の合計（和）になっているからである。
自由度で割ると平均平方と呼ばれる。
回帰の平均平方（）と残差の平均平方（
）の比が、Ｆ分布に従うＦ値であり、その検定結果が有意確率ｐとなる。
なので、回帰と残差の比ではあるものの、決定係数とよく似た計算をしているのがわかる。
決定係数とモデルの分散分析の違いは何か？
決定係数は全体の変動のうち、回帰の変動がどのくらいを占めているかというものだったのに対し、モデルの有意性の分散分析は、回帰の変動が残差の変動（全体の変動からの差分）よりどのくらい大きいかで、回帰の有意性を検討する形になっている。
つまり、決定係数もモデルの分散分析も、同じような計算値を用いて、同じようなことを示していると言える。
ただ、決定係数は大小が検討できる数値であるのに対し、分散分析は有意水準以下かどうかで統計学的有意かどうかしかわからないという点が大きな違いである。
しかしながら、どちらか一つあれば決定的ということはないため、どちらの指標も重要な指標である。
ゆえに、使い分けるわけではなく、常に同時に計算して提示するのが良い。
事実、EZRでは、同時に出力される。
報告する際にもどちらも提示するとよいだろう。
EZRの出力結果で確認してみる
以下は、EZRでの出力例である。
このように決定係数0.1309（及び自由度調整済み決定係数0.092）、とモデルの分散分析の結果としてF値とp値が同時に出力される。
この重回帰モデルの分散分析表を表示してみると以下のようになる。
この値を使って回帰の変動を計算すると1.2154と計算される。
また、全体の変動は、9.2839と計算される。
回帰の変動と全体の変動の比を取ると0.1309148となり、決定係数0.1309と一致する。
以下は、Rのコンソールで計算した結果である。
> 0.0808+0.2464+0.8882 [1] 1.2154 > 0.0808+0.2464+0.8882+8.0685 [1] 9.2839 > 1.2154/9.2839 [1] 0.1309148
このように決定係数とモデルの有意性の分散分析はつながっている。
まとめ
重回帰モデルの評価としての決定係数とモデルの有意性の分散分析について、詳しく見てきた。
どちらも回帰モデルの当てはまり（回帰変動）をもとに、指標化した数値で表すか、検定で統計学的有意性を検討しているかの違いと言えた。
であるが、どちらか一方で必要十分ということでもないため、使い分けるということでもなく、重回帰モデルの評価指標として、どちらも提示するのがよい。
参考サイト
27-5. 決定係数と重相関係数 | 統計学の時間 | 統計WEB
27-6. 回帰の有意性の検定 | 統計学の時間 | 統計WEB
参考書籍
SPSSによる応用多変量解析
EZR公式マニュアル
