前回の続き。「Machine Learning – A Probabilistic Perspective」第3章を読みました。

第三章の目次は以下の通り。この章は、離散データをもとにナイーブベイズなどの手法でモデルを生成しようという話です。段々と数学的に難易度が上がってきた。

• Generative models for discrete data
  • Introduction
  • Bayesian concept learning 65
    • Likelihood
    • Prior
    • Posterior
    • Posterior predictive distribution
    • A more complex prior
  • The beta-binomial model
    • Likelihood
    • Prior
    • Posterior
    • Posterior predictive distribution
  • The Dirichlet-multinomial model
    • Likelihood
    • Prior
    • Posterior
    • Posterior predictive
  • Naive Bayes classifiers
    • Model fitting
    • Using the model for prediction
    • The log-sum-exp trick
    • Feature selection using mutual information
    • Classifying documents using bag of words

この章で例として出てくるのは、いくつかの数字を観測したうえで、どのモデルから数字が生成されているかを推定するというもの。例えばD={16,8,2,64}を観測したうえでは、2の累乗というモデルの確率が一番高くなります。

その他にも、いくつかのデータが追加された場合に事後確率を更新することができる、ということが書かれています。これによりベイズ推定がオンライン学習に適しているということが言えるそうです（詳しくは8章）

ナイーブベイズについてもこの章の後半で述べられています。ナイーブという言葉の意味はフィーチャーが独立であることを仮定しないから付けられたとのことです。もしこの仮定が成り立たなくても、モデル自体がシンプルなためオーバーフィットしづらく、結果的に良い性能が出ることが多いそうです。

最後にはドキュメントの単語から、内容を分類するタスクが述べられています。Dirichlet Compound Multinominalという分布を使うと、一度観測されたデータはより観測されやすいとモデル化できるそうです。単語のようなスパースなデータを扱う際に、一度登場した単語は同じ文章中に再び登場しやすい、という直感的な感覚に合っているモデルです。