段々と機械学習の概要や基本的な数学が身についてきたと思うので、巷の評価が高い「Machine Learning – A Probabilistic Perspective」を読み始めることにした。

1000ページを超える大著であるため、挫折しないように章ごとにまとめを書いていきたいと思う。

第一章の目次はこんな感じ

• Machine learning: what and why?
  • Types of machine learning
• Supervised learning
  • Classification
  • Regression
• Unsupervised learning
  • Discovering clusters
  • Discovering latent factors
  • Discovering graph structure
  • Matrix completion
• Some basic concepts in machine learning
  • Parametric vs non-parametric models
  • A simple non-parametric classifier: K-nearest neighbors
  • The curse of dimensionality
  • Parametric models for classification and regression
  • Linear regression
  • Logistic regression
  • Overfitting
  • Model selection
  • No free lunch theorem

目次を見て分かる通り、第一章は機械学習の分類と概要について。

本のタイトルにProbabilistic Perspectiveとある通り、線形回帰の部分からしっかりと確率的になぜ回帰曲線が選ばれるかということが書かれている。

知らなかった言葉としては、latent factorがある。これは高次元のデータのなかに潜在する多くの変数を説明するfactorのこと。

parametric, non-parametricという用語も何となく聞いたことがあるレベルだったが、モデルが固定長のパラメータを持つ場合はparametric、そうでなければnon-parametricということらしい。