「Machine Learning – A Probabilistic Perspective」第7章を読んだ

前回の続き。第7章は線形回帰について。このあたりでようやく1/4までたどり着いた。先は長い。

目次は以下の通り。

  • 7 Linear regression
    • 7.1 Introduction
    • 7.2 Model specification
    • 7.3 Maximum likelihood estimation (least squares)
      • 7.3.1 Derivation of the MLE 219
      • 7.3.2 Geometric interpretation
      • 7.3.3 Convexity
    • 7.4 Robust linear regression *
    • 7.5 Ridge regression
      • 7.5.1 Basic idea
      • 7.5.2 Numerically stable computation *
      • 7.5.3 Connection with PCA *
      • 7.5.4 Regularization effects of big data
    • 7.6 Bayesian linear regression
      • 7.6.1 Computing the posterior
      • 7.6.2 Computing the posterior predictive
      • 7.6.3 Bayesian inference when σ2 is unknown *
      • 7.6.4 EB for linear regression (evidence procedure)

線形回帰のMaximum likelihood estimationから始まり、outlierに強い線形回帰の方法やリッジ回帰、PCA、Regularizationなどが説明され、最後にベイズ統計による線形回帰の話が述べられている。

リッジ回帰はペナルティ項が加わった線形回帰。overfitする可能性を減らすことが出来る。数値計算する際にも良い性質があるとのこと。

最後のベイズ推定の部分は、リッジ回帰でpointを推定できるけど、完全なwやσ^2の事後分布を知りたいことがあるのでベイズ推定を使うと良いということらしい。

無料で読めるオライリー公式のデータサイエンス・ビッグデータ e-books

Free Data Ebook Archiveというサイトを見つけた。オライリーが出しているデータサイエンスやビッグデータ関係の電子書籍が無料で読むことが出来る。名前とメールアドレスを入れるとePub, mobi, pdf形式でダウンロードすることが出来る。

ざっと見た感触としては、オライリーの動物が表紙になっている本よりかは短めの内容が多く、技術的なものもあるが理論よりも実運用を意識した内容のものが多いと感じた。

ちょっと気になったのは以下のタイトル。短めの本が多いようなので、機械学習関係の現状を把握したりシステムアーキテクチャの概要を掴んだりするのに良いかと思います。

・The Path to Predictive Analytics and Machine Learning
・Practical Artificial Intelligence in the Cloud(クラウド上でのAIアプリケーションの運用例など)
・Fast Data Architectures for Streaming Applications (ストリーミングデータに対するアプリケーションのアーキテクチャ構成例が挙げられている)