前回（「Machine Learning – A Probabilistic Perspective」第3章を読んだ。）の続き。

4章は多変数ガウシアンモデルについて。この章は数学的に他の章よりも難しいと、一番初めに書かれており確かにその通りで難しい。流し読みな感じだけど大丈夫だろうか。

分かりやすい解説スライドを見つけたのでこれで復習しよう。

目次は以下の通り。（*がついているところは数学的に難易度が高いところ）

• 4 Gaussian models
  • 4.1 Introduction
    • 4.1.1 Notation
    • 4.1.2 Basics
    • 4.1.3 MLE for an MVN
    • 4.1.4 Maximum entropy derivation of the Gaussian *
  • 4.2 Gaussian discriminant analysis
    • 4.2.1 Quadratic discriminant analysis (QDA)
    • 4.2.2 Linear discriminant analysis (LDA)
    • 4.2.3 Two-class LDA
    • 4.2.4 MLE for discriminant analysis
    • 4.2.5 Strategies for preventing overfitting
    • 4.2.6 Regularized LDA *
    • 4.2.7 Diagonal LDA
    • 4.2.8 Nearest shrunken centroids classifier *
  • 4.3 Inference in jointly Gaussian distributions
    • 4.3.1 Statement of the result
    • 4.3.2 Examples
    • 4.3.3 Information form
    • 4.3.4 Proof of the result *
  • 4.4 Linear Gaussian systems
    • 4.4.1 Statement of the result
    • 4.4.2 Examples
    • 4.4.3 Proof of the result *
  • 4.5 Digression: The Wishart distribution *
    • 4.5.1 Inverse Wishart distribution
    • 4.5.2 Visualizing the Wishart distribution *
  • 4.6 Inferring the parameters of an MVN
    • 4.6.1 Posterior distribution of μ
    • 4.6.2 Posterior distribution of Σ *
    • 4.6.3 Posterior distribution of μ and Σ *
    • 4.6.4 Sensor fusion with unknown precisions *

Linear Discriminant Analysisがどういうものか何となくわかった気がする。もうちょっと復習が必要だが、とりあえず先に進んでみる。先ほどのスライドにもあったが、ガウス分布はシンプルでありながら現実に即した分布であるので、解釈がしやすい分布であり、線形代数で計算がすむということで広く使われている。