前回の続き。第7章は線形回帰について。このあたりでようやく1/4までたどり着いた。先は長い。

目次は以下の通り。

• 7 Linear regression
  • 7.1 Introduction
  • 7.2 Model specification
  • 7.3 Maximum likelihood estimation (least squares)
    • 7.3.1 Derivation of the MLE 219
    • 7.3.2 Geometric interpretation
    • 7.3.3 Convexity
  • 7.4 Robust linear regression *
  • 7.5 Ridge regression
    • 7.5.1 Basic idea
    • 7.5.2 Numerically stable computation *
    • 7.5.3 Connection with PCA *
    • 7.5.4 Regularization effects of big data
  • 7.6 Bayesian linear regression
    • 7.6.1 Computing the posterior
    • 7.6.2 Computing the posterior predictive
    • 7.6.3 Bayesian inference when σ2 is unknown *
    • 7.6.4 EB for linear regression (evidence procedure)

線形回帰のMaximum likelihood estimationから始まり、outlierに強い線形回帰の方法やリッジ回帰、PCA、Regularizationなどが説明され、最後にベイズ統計による線形回帰の話が述べられている。

リッジ回帰はペナルティ項が加わった線形回帰。overfitする可能性を減らすことが出来る。数値計算する際にも良い性質があるとのこと。

最後のベイズ推定の部分は、リッジ回帰でpointを推定できるけど、完全なwやσ^2の事後分布を知りたいことがあるのでベイズ推定を使うと良いということらしい。