• p(y|x) = p(y|f(x))

　　　         = p(y|f1, f2, ///, fn)

               = p(y)p(f1, f2, ///, fn|y) / p(f1, f2,///, fn)（ベイズの定理）

               ∝p(y)p(f1, f2, ///, fn)（分母はyによらない（いまはp(y|x)が最大となるyを求めたいので分母は関係ない））

               ≒p(y)Πp(fi|y)（各特徴は独立と仮定）

• ある確率変数の値を与えたとき（観測事象）、他の確率変数（質問変数）の事後確率分布を求める
• p(X|e) ∝ p(X, e) = Σ_y p(X, e, Y)
• 2ページ前の図

• ベイジアンネットワークの推論手法

• 厳密推論
  • 変数消去
  • 確率伝播法
• 人事推論
  • ループ（というかダイヤモンド？）あり確率伝播法
  • マルコフ連鎖モンテカルロ法
• ネットワークが木構造のときは、動的計画法で線形時間の推論が可能

• 因果関係や相関関係をグラフで表現した確率モデル
  • ベイジアンネットWー空く＝有向グラフ＋条件付き確率
  • マルコフ確率場＝無効グラフ＋ログ線形モデル
    • 条件付き確率ではなく、事象間の関係性の強さ（重み）で全体の確率が決まる
    • ベイジアンネットワークと類似の推論しゅ方が使える
• 言語処理や画像認識など、複雑なものにも使われる

• ベイジアンネットワークの応用

• 次の単語を予測する問題
  • ひろしがごはんをXXX
• 単語列の源吾らしさを測る問題
  • ひろしがごはんをたべる
  • ひろしたべるがごはんを
• いろいろなアプリケーションで使われる
  • 音声認識
  • OCR
  • 仮名漢字変換

• かな漢字変換

• きしゃがきしゃできしゃした＝＞どんな変換が一番日本語らしいか＝＞記者が汽車で帰社した

• 単語列の言語らしさを確率で表す
  • P(w[n]| w[1], w[2], ・・・, w[n-1])
  • P(w[1], w[2], ・・・, w[n-1], w[n])
• 学習データ＝実際のテキストから確率を推定

• Nグラムモデル

• 直前のn-1単語にのみ依存して、次の単語の確率が決まる。
  • それ以前の単語が異なるものはすべて同値類としてまとめる
  • n語以上の単語は関係ないと仮定

• Nグラムモデルのパラメータ数

• 単語数10,000とすると
  • ２グラムモデル　パラメータ数＝1億
  • ３グラムモデル　パラメータ数＝１兆
  • ４グラムモデル　パラエータ数＝１京
• 安易にnを増やすわけにはいかない

• うまく学習する方法

• なるべく小さいn
  • Bigram, trigramが使われることが多い
  • 次の単語を直前の１～２単語で予測するというのは意味がなさそうだが、実際にはそこそこうまくいく
• なるべく小さい単語数
  • 単語の字面そのままではなく、互換や意味クラスを使う
• なるべく大きい学習データをつかう
  • WEB

• 学習データの出現回数を全体の数で割る
• 学習データに「とてもおいしい」という文字列が１０回現れ、そのうち６回「ケーキ」３回「ごはん」１回「青汁」とかだったり

• 最尤推定法の問題点

• 非常に多く出てくる単語の滅多に出てこない単語がある
  • the, a, of, in, ・・・
• 大きな学習データがあっても、出てこない単語がたくさんある（ロングテール）ー＞いくらデータがあっても足りない

• 自然言語のテキストに置いて、単語の頻度と、頻度順に並べたときの順位は、反比例の関係に∃。
  • もっともたくさん現れる単語は、２番目にたくさん現れる単語よりも２倍の頻度で現れる
• 自然言語のテキスト以外でも、このような性質は様々なデータで現れる。

• 確率０の事象に確率値をちょっとずつ分け与える
  • たまたま出てきた事象は確率値が高めに推定されているはず
  • 未観測の事象は確率０ではないはず
• 確率を足したら１になるように
• どういうふうに分け与えたらいいか？
• アドホックなやり方に見えるが、理論的な背景もある。