重回帰分析（以下、線形回帰も同義）には当てはまりの良さの指標としていくつかあるが、それらの違いと使い分けはどうしたらよいのか？
- 自由度調整済み決定係数の特徴
- Mallows Cp 規準、AIC、BIC の特徴
- AIC と Mallows Cp 規準の違い
- AIC（赤池情報量規準）と BIC（ベイズ情報量規準）の特徴と違い
- 使い分け
- まとめ
- 参考文献・サイト
- 類似の過去記事
自由度調整済み決定係数の特徴
説明率とも言われる決定係数の説明変数の個数を考慮したバージョン
0 から 1 の間の値を取り、1 に近づくほど当てはまりがよいという指標になる
絶対評価が可能
決定係数の大きさについては、過去記事参照
Mallows Cp 規準、AIC、BIC の特徴
これらは、モデルから数値が計算されるが、その数値自体で判断することはできない
その他の変数セットモデルと相対的に比較して判断する
数値が小さいモデルほど、当てはまりが良いモデルと判断する
AIC と Mallows Cp 規準の違い
説明変数の数で罰則を設けている点が似通っている
線形回帰であれば、同様の指標と考えられる
傾向からは変数選択のされやすさは HQC> (AI C ≒Malllows′s Cp) > BI C H Q C > (A I C ≒ Malllows ′ s C p) > B I C です。
出典：ステップワイズ法におけるAIC/BIC/Mallows's CPの比較 - Engineering Skills
線形回帰モデルに対してはAICとCpの最小化はほぼ等価であることも知られている
出典：https://www.ieice.org/publications/conference-FIT-DVDs/FIT2014/data/pdf/A-006.pdf
AIC（赤池情報量規準）と BIC（ベイズ情報量規準）の特徴と違い
AIC と BIC は、線形回帰（重回帰）だけでなく、ロジスティック回帰、Cox 回帰に使える
これについては，最初に挙げた赤池（1996）論文が，最後の部分で，以下のように結論していることとも符合する。
BIC は，有意なパラメータと，そうでないものとが，容易に識別できる状況に対応するモデルから得られ，これに対してAICは，有意性がようやく認められる程度のパラメータの取り扱いに注目し，誤差の影響に埋没しそうになるところまでモデル化の可能性を追及
参照：赤池弘次 (1996) AIC と MDL と BIC (p. 378)
得られたデータの統計解析の実践的な場面で， AIC と BIC のどちらを使うか迷うときの指針にもなりうる赤池の説明である。
AICと比較すると,モデルの複雑さへの罰則項が異なる.すなわち, AICは2(d+2)で,BICは(d+2)lognである.これらの違いから以下の性質が知られている.BICは真のモデルの選択に対する一致性を持つ.一方,AICはその性質を持たない.しかし,AICは予測誤差を最小にするモデルを選択するが,BICはそのような性質を持たない.
出典：https://mcm-www.jwu.ac.jp/~konno/pdf/chuo2023_ch1_0504.pdf
こちらの過去記事も、参考になれば
使い分け
| 指標 | 適用モデル | 解釈の仕方 | 使用想定場面 |
|---|---|---|---|
| 自由度調整済み決定係数 | 線形回帰 | 1 に近いほど当てはまりが良いモデル（絶対評価） | 重回帰分析のモデル評価 |
| Mallows Cp 規準 | 線形回帰 | 複数の説明変数セットで計算し小さいほうが良い（相対評価） | 重回帰分析の変数選択の参考 |
| AIC | 線形回帰・ロジスティック回帰・Cox 回帰 | 複数の説明変数セットで計算し小さいほうが良い（相対評価） | 回帰モデルの変数選択の参考（なるべく変数を残したい） |
| BIC | 線形回帰・ロジスティック回帰・Cox 回帰 | 複数の説明変数セットで計算し小さいほうが良い（相対評価） | 回帰モデルの変数選択の参考（シンプルなモデルにしたい） |
まとめ
重回帰分析における、当てはまりの良さの指標を 4 つあげ、違いと使い分けについてまとめた
モデルそのものの当てはまりの良しあしは、絶対的な評価ができる自由度調整済み決定係数が良いと思う
いくつかのモデルを比較して、相対的に当てはまりの良いモデルを見極めるには、重回帰だけでなく、ロジスティック回帰・Cox 回帰にも使えて、なるべく変数を残して、最大限交絡因子調整をしようとする AIC が良いと思う
何らか参考になれば幸い
参考文献・サイト
線型回帰における各種当てはまり指標の数式説明
https://mcm-www.jwu.ac.jp/~konno/pdf/chuo2023_ch1_0504.pdf
Mallows の Cp 規準による回帰式の変数選択
https://www.ieice.org/publications/conference-FIT-DVDs/FIT2014/data/pdf/A-006.pdf
AIC と BIC の特徴比較
https://biolab.sakura.ne.jp/aic-and-bic.html
