主成分分析の計算方法　RとEZRの方法

主成分分析は、多変量情報の縮約と言われるが、実際にはどんな計算をしているのか？

数学的に少し詳しくわかりたい人向け。

＞＞もう統計で悩むのを終わりにしませんか？

↑1万人以上の医療従事者が購読中

主成分分析の計算上の目標は合成変数の作成と分散の最大化
主成分分析の計算の始まり
主成分分析の計算を２つの変数での計算で見ていく
主成分分析の計算の山場　固有値の登場
主成分分析の固有値の求め方
- Rの場合
- EZRの場合
主成分分析の固有値は主成分の重要度の指標
主成分分析の寄与率とは？
主成分分析の主成分負荷量とは？
まとめ
参考書籍
参考サイト

主成分分析の計算上の目標は合成変数の作成と分散の最大化

主成分分析の数学的な計算の目的は、合成変数の作成と、その合成変数の分散が最大となるパラメータ（係数）を求めることである。

どんな計算をするのか、一つ一つ順を追って見ていこう。

主成分分析の計算の始まり

主成分分析の計算の始まりは、分散共分散行列もしくは相関行列である。

通常は、単位が違う測定値も同列に扱えるように標準化した値を使った分散共分散行列、つまり相関行列を使った計算を行うため、相関行列での説明に絞ってシンプルに紹介する。

標準化すると、平均がゼロ、分散＝標準偏差＝１となって、計算が楽になるという利点がある。

標準化がいつもの場合も最適かどうかは目的によることを、以下の動画で簡単に触れているので、参考まで。

該当箇所から始まるので注意。

主成分分析（馬場康維） 3（全3回）改訂版 - YouTube

＞＞もう統計で悩むのを終わりにしませんか？

↑1万人以上の医療従事者が購読中

主成分分析の計算を２つの変数での計算で見ていく

２つの変数で作られる合成変数を $z$ とすると、合成変数は以下のように表せる。

\begin{equation} z = b_1 x_1 + b_2 x_2 \end{equation}

$z$ の分散は以下のように書けるが、 $z$ の平均 $\bar{z}$ は、変数 $x_1$ , $x_2$ とも平均ゼロに標準化されているので、ゼロとなる。

\begin{align} V_z &= \frac{1}{n} \sum (z - \bar{z})^2 \\ &= \frac{1}{n} \sum z^2 \\ &= \frac{1}{n} \sum (b_1x_1+b_2x_2)^2 \end{align}

式展開して、変数 $x_1$ , $x_2$ とも標準化され、分散が１であることから、サンプルサイズ分の和（平方和）を計算すると $n$ になるという性質を利用して、シンプルにしていく。

\begin{equation} \frac{1}{n} \left( b_1^2 \sum x_1^2 + 2 b_1b_2 \sum x_1x_2 + b_2^2 \sum x_2^2 \right) \\ = b_1^2 + b_2^2 + 2 r_{x_1x_2} b_1b_2 \end{equation}

また、 $x_1$ , $x_2$ の積和は、標準化した変数の共分散（でかつ分母は１）の相関係数のサンプルサイズ分の和、つまり相関係数 $r_{x_1x_2}$ の $n$ 倍である。

主成分分析の計算の山場　固有値の登場

ここで、係数の２乗和を１とする、制約条件を導入する。

主成分 $z = b_1 x_1 + b_2 x_2$ は、 $b_1 : b_2$ を保っていれば、どのような値をとっても良い状況なのである。

そこで、わかりやすさ重視のため、 $b_1 ^2 + b_2 ^2 = 1$ という制約を加えることにする。

こうすると、主成分の長さ $\sqrt{b_1 ^2 + b_2 ^2}$ が１ということになり、わかりやすい。

標準化をした値を使って、平均ゼロ分散１の変数を使うと、上記で計算がシンプルになったのと同じような理屈である。

最大化したい主成分の分散 $V_z = b_1 ^2 + b_2 ^2 + 2 r_{x_1x_2} b_1b_2$ と、制約条件 $b_1 ^2 + b_2 ^2 = 1$ がそろったところで、ラグランジュ関数を考える。

ラグランジュ関数は、ラグランジュの未定乗数法を適用した関数である。

ラグランジュの未定乗数法は、制約条件があるときに関数の極値（この場合主成分の分散を最大化する係数）を求める際に、未定の定数をかける方法である。

未定乗数として $\lambda$ を制約条件にかけて関数に導入する。

この $\lambda$ が主成分の固有値になる。

\begin{equation} L (b_1, b_2, \lambda) = b_1 ^2 + b_2 ^2 + 2 r_{x_1x_2} b_1 b_2 - \lambda (b_1 ^2 + b_2 ^2 - 1) \end{equation}

ここで、 $b_1$ , $b_2$ , $\lambda$ でそれぞれ偏微分してゼロとおく。

\begin{align} \frac{\partial L}{\partial b_1} &= 2b_1 + 2r_{x_1x_2} b_2 - 2\lambda b_1 = 0 \\ \frac{\partial L}{\partial b_2} &= 2b_2 + 2r_{x_1x_2} b_1 - 2\lambda b_2 = 0 \\ \frac{\partial L}{\partial \lambda} &= - (b_1 ^2 + b_2 ^2 - 1) = 0 \end{align}

$b_1$ と $b_2$ の偏微分の式は、連立方程式になっていて、以下のように行列の計算式ととらえることができる。

\begin{equation} b_1 + r_{x_1x_2} b_2 = \lambda b_1 \\ r_{x_1 x_2} b_1 + b_2 = \lambda b_2 \end{equation}

$\begin{pmatrix} 1 & r_{x_1x_2} \\ r_{x_1x_2} & 1 \end{pmatrix} \begin{pmatrix} b_1 \\ b_2 \end{pmatrix} =\lambda \begin{pmatrix} b_1 \\ b_2 \end{pmatrix}$

ここで、

\begin{pmatrix} b_1 \\ b_2 \end{pmatrix}

が、固有ベクトルである。

両辺に、この固有ベクトルの転置行列を乗ずると、主成分 $z$ の分散が固有値 $\lambda$ であることが確認できる。

$\begin{pmatrix} b_1 & b_2 \end{pmatrix} \begin{pmatrix} 1 & r_{x_1x_2} \\ r_{x_1x_2} & 1 \end{pmatrix} \begin{pmatrix} b_1 \\ b_2 \end{pmatrix} = \lambda \begin{pmatrix} b_1 & b_2 \end{pmatrix} \begin{pmatrix} b_1 \\ b_2 \end{pmatrix}$