月別: 2017年10月

前回（「Machine Learning – A Probabilistic Perspective」第3章を読んだ。）の続き。

4章は多変数ガウシアンモデルについて。この章は数学的に他の章よりも難しいと、一番初めに書かれており確かにその通りで難しい。流し読みな感じだけど大丈夫だろうか。

分かりやすい解説スライドを見つけたのでこれで復習しよう。

目次は以下の通り。（*がついているところは数学的に難易度が高いところ）

• 4 Gaussian models
  • 4.1 Introduction
    • 4.1.1 Notation
    • 4.1.2 Basics
    • 4.1.3 MLE for an MVN
    • 4.1.4 Maximum entropy derivation of the Gaussian *
  • 4.2 Gaussian discriminant analysis
    • 4.2.1 Quadratic discriminant analysis (QDA)
    • 4.2.2 Linear discriminant analysis (LDA)
    • 4.2.3 Two-class LDA
    • 4.2.4 MLE for discriminant analysis
    • 4.2.5 Strategies for preventing overfitting
    • 4.2.6 Regularized LDA *
    • 4.2.7 Diagonal LDA
    • 4.2.8 Nearest shrunken centroids classifier *
  • 4.3 Inference in jointly Gaussian distributions
    • 4.3.1 Statement of the result
    • 4.3.2 Examples
    • 4.3.3 Information form
    • 4.3.4 Proof of the result *
  • 4.4 Linear Gaussian systems
    • 4.4.1 Statement of the result
    • 4.4.2 Examples
    • 4.4.3 Proof of the result *
  • 4.5 Digression: The Wishart distribution *
    • 4.5.1 Inverse Wishart distribution
    • 4.5.2 Visualizing the Wishart distribution *
  • 4.6 Inferring the parameters of an MVN
    • 4.6.1 Posterior distribution of μ
    • 4.6.2 Posterior distribution of Σ *
    • 4.6.3 Posterior distribution of μ and Σ *
    • 4.6.4 Sensor fusion with unknown precisions *

Linear Discriminant Analysisがどういうものか何となくわかった気がする。もうちょっと復習が必要だが、とりあえず先に進んでみる。先ほどのスライドにもあったが、ガウス分布はシンプルでありながら現実に即した分布であるので、解釈がしやすい分布であり、線形代数で計算がすむということで広く使われている。

前回の続き。「Machine Learning – A Probabilistic Perspective」第3章を読みました。

第三章の目次は以下の通り。この章は、離散データをもとにナイーブベイズなどの手法でモデルを生成しようという話です。段々と数学的に難易度が上がってきた。

• Generative models for discrete data
  • Introduction
  • Bayesian concept learning 65
    • Likelihood
    • Prior
    • Posterior
    • Posterior predictive distribution
    • A more complex prior
  • The beta-binomial model
    • Likelihood
    • Prior
    • Posterior
    • Posterior predictive distribution
  • The Dirichlet-multinomial model
    • Likelihood
    • Prior
    • Posterior
    • Posterior predictive
  • Naive Bayes classifiers
    • Model fitting
    • Using the model for prediction
    • The log-sum-exp trick
    • Feature selection using mutual information
    • Classifying documents using bag of words

この章で例として出てくるのは、いくつかの数字を観測したうえで、どのモデルから数字が生成されているかを推定するというもの。例えばD={16,8,2,64}を観測したうえでは、2の累乗というモデルの確率が一番高くなります。

その他にも、いくつかのデータが追加された場合に事後確率を更新することができる、ということが書かれています。これによりベイズ推定がオンライン学習に適しているということが言えるそうです（詳しくは8章）

ナイーブベイズについてもこの章の後半で述べられています。ナイーブという言葉の意味はフィーチャーが独立であることを仮定しないから付けられたとのことです。もしこの仮定が成り立たなくても、モデル自体がシンプルなためオーバーフィットしづらく、結果的に良い性能が出ることが多いそうです。

最後にはドキュメントの単語から、内容を分類するタスクが述べられています。Dirichlet Compound Multinominalという分布を使うと、一度観測されたデータはより観測されやすいとモデル化できるそうです。単語のようなスパースなデータを扱う際に、一度登場した単語は同じ文章中に再び登場しやすい、という直感的な感覚に合っているモデルです。

前回の続き。

2章は確率論の復習です。一通り、確率は習っているのでスムーズに進めました。確率分布の性質などの部分は後から出てきたときに見返せば良いかなという感じです。

最後に情報理論の節があります。データの分布の相関を測るために使われるのかな。

2章の目次は以下の通り

• Probability
  • Introduction
  • A breif review of probability theory
    • Discrete random variables
    • Fundamental rules
    • Bayes’ rule
    • Independence and conditional independence
    • Continuous random variables
    • Quantiles
    • Mean and vairance
  • Some common discrete distributions
    • The binomial and Bernoulli distributions
    • The multinomial and multinoulli distributions
    • The Poisson distribution
    • The empirical distribution
  •  Some common continuous distributions
    • Gaussian (normal) distribution
    • Degenerate pdf
    • The Laplace distribution
    • The gamma distribution
    • The beta distribution
    • Pareto distribution
  • Joint probability distributions
    • Covariance and correlation
    • Multivariate Student’s t-distribution
    • Dirichlet distribution
  • Transformations of random variables
    • Linear transformations
    • General transformations
    • Central limit theorem
  • Monte Carlo approximation
    • Example: change of variables, the MC way
    • Example: estimating π by Monte Carlo integration
    • Accuracy of Monte Carlo approximation
  • Information theory
    • Entropy
    • KL divergence
    • Mutual information

以下は、メモしておきたいことを列挙。

Bayesianなアプローチをとってモデルを構築することのメリットは、長期間の頻度が手に入らないイベントを予測するモデルを構築出来ることである。

二項係数nCkは”n choose k”と発音する。

ガウス分布は外れ値（outlier）の影響を受けやすいので、そういう場合は The Stuent’s t distribution を使うとよい。

2つの確率密度分布のdissimilarityを測る尺度として、KL divergenceがある。

低い相関係数であっても、高いMIC（maximal information coefficient）があれば、非線形な関係がある。