前回の続き。

2章は確率論の復習です。一通り、確率は習っているのでスムーズに進めました。確率分布の性質などの部分は後から出てきたときに見返せば良いかなという感じです。

最後に情報理論の節があります。データの分布の相関を測るために使われるのかな。

2章の目次は以下の通り

• Probability
  • Introduction
  • A breif review of probability theory
    • Discrete random variables
    • Fundamental rules
    • Bayes’ rule
    • Independence and conditional independence
    • Continuous random variables
    • Quantiles
    • Mean and vairance
  • Some common discrete distributions
    • The binomial and Bernoulli distributions
    • The multinomial and multinoulli distributions
    • The Poisson distribution
    • The empirical distribution
  •  Some common continuous distributions
    • Gaussian (normal) distribution
    • Degenerate pdf
    • The Laplace distribution
    • The gamma distribution
    • The beta distribution
    • Pareto distribution
  • Joint probability distributions
    • Covariance and correlation
    • Multivariate Student’s t-distribution
    • Dirichlet distribution
  • Transformations of random variables
    • Linear transformations
    • General transformations
    • Central limit theorem
  • Monte Carlo approximation
    • Example: change of variables, the MC way
    • Example: estimating π by Monte Carlo integration
    • Accuracy of Monte Carlo approximation
  • Information theory
    • Entropy
    • KL divergence
    • Mutual information

以下は、メモしておきたいことを列挙。

Bayesianなアプローチをとってモデルを構築することのメリットは、長期間の頻度が手に入らないイベントを予測するモデルを構築出来ることである。

二項係数nCkは”n choose k”と発音する。

ガウス分布は外れ値（outlier）の影響を受けやすいので、そういう場合は The Stuent’s t distribution を使うとよい。

2つの確率密度分布のdissimilarityを測る尺度として、KL divergenceがある。

低い相関係数であっても、高いMIC（maximal information coefficient）があれば、非線形な関係がある。