計量経済学の使いかた[基礎編]を読んで（第2章：最小二乗法）

大学の図書館に計量経済学の使いかたという本がおいてあり、気になったので読んでみることにしました。上[基礎編]と下[応用編]の２シリーズで構成されています。内容は回帰モデルを使って分析を進めていく際の疑問点についてやさしくまとめたものになっています。「なぜこうなるのか」という理論的な話題よりも、「どうやって分析を進めるのか」という実践的な内容になっています。理論な話題を取り上げる本は多く存在すると思いますが、こうした実践的な内容がまとめられているものは多くなく、本当にありがたいです。
　この記事では、上[基礎編]の最小二乗法について簡単にまとめていきたいと思います。

なぜ最小二乗法（OLS）を使うのか

OLSを使う理由は以下のものがあげられています

1. 比較的扱いやすい
2. 残差二乗和を最小化することは理論的にかなり妥当なこと
3. OLSは数多くの有用な性質を持っている

１と２については単純で、OLSは紙と鉛筆を使えば（頑張れば）計算できてしまうことと、残差に関する正、負を気にしなくてOKということです。３については、残差の和がちょうど0になることと、一連の仮定の下で最良推定量となることを挙げています。

独立変数が1つの場合の最小二乗法

まずは、独立変数が1つという、以下の式のようなとてもシンプルなモデルを考えます。

$Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i$

この式のβ₁は以下の式で求まります。

$\displaystyle \hat{\beta}_1 = \frac{\sum_{i=1}^N [(X_i-\overline{X})(Y_i-\overline{Y})] } {\sum_{i=1}^N (X_i - \overline{X})^2 }$

さらにこのβ₁の値を用いてβ₀の値を求めます。

$\hat{\beta_0} = \overline{Y} - \hat{\beta_0}\overline{X}$

この様な手順で最小二乗法は実行されます。

全変動、回帰変動、残差変動

観測値と観測値の平均との差を二乗した値を全変動と呼びます。つまり、分散です。そのうち推定された式でもって説明できるものを回帰変動と呼びます。そして、回帰変動では表現することのできない残りの変動を残差変動と呼びます。
以下の図を見ていただければ何となく関係性がつかめると思います。
f:id:memo_dl:20191020134021p:plain

全変動、回帰変動、誤差変動は以下の式のような関係があります。

$全変動（TSS）=　回帰変動（ESS）＋　残差変動（RSS）$

このような関係を分散分解と呼びます。

モデルの当てはまりについて

回帰結果が算出されたら次はモデルについてよく考察する手順に移ります。具体的には以下の様な事柄について考える必要があります。

回帰式は信頼できる理論によって支持されているか

推定された回帰式はデータにどれほどうまく当てはまっているか

データセットは十分に豊富で正確であるか

OLSは、この回帰式に使用されるべき最良推定量であるか

推定された係数は、データを収集する前に研究者が作り上げた予想にどれほどうまく一致しているか

明らかに重要な変数がすべて、回帰式の中に含まれているか

理論的に最も道理に適った関数型が使用されているか

回帰分析は、主要な計量経済学の問題を回避できているか

<参考文献>　計量経済学の使いかた上[基礎編] 66頁

上記のリストについて検証していくには背景となる理論について熟知していることも必要ですが、モデルの当てはまりについて定量的に判断できる材料があると便利そうです。そこで使われるのが決定係数と自由度修正済み決定係数です。

決定係数R²

決定係数R²は一般的に用いられている当てはまりの尺度です。回帰変動（ESS）の全変動（TSS）に対する比率で表され、以下の式で表すことができます。

$R^2 = \frac{ESS}{TSS} = 1 - \frac{RSS}{TSS} = 1 - \frac{\sum{e_i^2}}{\sum{(Y_i - \overline{Y})^2}}$

R²の値は０から１の値をとり、値が大きいほどモデルの当てはまりが良いといえます。直感的にはR²の値だけを見ていればモデルの当てはまりについては評価できるような気がしますが、実は決定係数には、その値が減少しないという問題点があります。つまり独立変数を際限なく増やしていけばR²の値は増加していってしまうのです。一般に、目的変数の変動をあまり説明できない独立変数まで回帰式に取り込むことは推奨されません。その理由としては、自由度が低下するためです。自由度が低下すると推定された式の信頼度が低下してしまいます。

自由度

自由度とは、観測値Nと推定される値（推定する係数の数＋１（切片））の個数の差を表します。

$自由度(degree \: of \: freedom)=N-(K+1)$

N：観測数、K＋1：推定する係数の個数（１は切片の分）

自由度修正済み決定係数

自由度修正済み決定係数を調べることで、回帰式に独立変数を追加する際の当てはまりの増加分と、自由度の減少分を比較することができます。つまり、独立変数をあらたに加えるかどうかの指標として使うことができるのです。これは、自由度修正済み決定係数がある独立変数が追加されたときに（増加・減少・不変）のいずれの変化をとりうることによります。
以下に自由度修正済み決定係数の式を示します。

$\overline{R^2} = 1 - \frac{\sum{e_i^2}/(N-K-1)}{\sum{(Y_i-\overline{Y})^2/(N-1)}}$

決定係数R²と比較して自由度による修正が入っていることがわかると思います。この修正により、従属変数が同じで、独立変数の個数が異なる式に対して、式の当てはまりの良さを比較することができます。