1/12 知能システム論第12回ノート

自然言語処理
- 自然言語が情報を伝える仕組みを研究する
- 自然言語がインターフェースとなるアプリケーション
  - 検索
  - 機械翻訳
  - 対話・質問インターフェース
  - かな漢字変換
- 検索あれこれ
  - 検索・質問応答
  - ユーザがほしい情報を大量のテキストから探す
  - どこかに書いてあることをみつける問題
  - テキストマイニング
- 質問応答
- - 自然の質問に答える
  - 大量のテキストから質問の答えを探す-> 検索の一種（ページではなく単語を探す）
  - テキストのどこかに答えが直接書いてあることが前提
- IBM Watson
  - 質問応答システムのひとつ
- 質問応答の仕組み
- - 入力：質問文
  - 出力：答えの名詞
  - やり方
    - 質問タイプ認識（人名なのか書籍名なのかなど、答えの種類を認識）
    - クエリ生成
    - 検索・普通の検索と同じ
    - 答えの成形
  - すべてのステップで機械学習が利用される
- 応用例
  - お客さんからのクレームの分析
  - 製品の評判の分析
  - - ブログ
    - 掲示板
    - オンラインショッピング
  - 事件・事故の分s系
  - 流行を見つける
  - - どのドラマが人気があるか
    - 最近はやっているアイテムは何か
  - たくさんの企業が参入・利用している
- 主な技術
  - 古文解析などの自然言語処理をしたうえで、
    - 相関分析
    - 時系列分析
    - 評判分析
  - ほぼ統計的処理・
- 評判分析
  - 文が肯定的評価をしているか否定的評価をしているか判定
  - - こんなデザートには二度と会えないだろう
    - こんな旅館には火度と行きたくない
  - 肯定的・否定的の分類->二値分類
  - 評判分析のむずかしさ
    - 同じ単語がいい意味にも悪い意味にも使われる
    - 否定・逆説・皮肉などが意味を反転させる
- ロボットは東大に入れるか
  - 人工知能で東大入試を突破することを目指すプロジェクト
  - 自然言語処理が重要な役割を果たす
- 自然言語と知能
- - 百閒は一聞にしかず
    - 「先週の日曜から一週間ハワイに行ってきました」
  - 知識・情報の伝達
  - - 人間社会の多くの情報は自然言語でしか表現できない
  - 思考の基盤
  - - 思考や新しい知識の創造は自然言語で行われる
  - 言語の知能は表裏一体
構文解析
- 統語的規則性に基づき、文の構造を計算su
- る鵜技術
- 入力：単語列（＋品詞）、
- 意味を計算する第一歩
  - 文中で単語がどのように組み合わさっているのかを計算する
- CFG
- 曖昧性の問題
- - 複数の構文木が作れる場合がある
  - すべての構文木を列挙しようとｓるうと、同じ部分木を何回も計算する必要がある。
  - すべての構文木を列挙すると指数爆発する
- 確率文脈自由文法
  - 生成規則に確率を割り当てる
  - p(r) (r in R)　生成規則の確率
  - ただし、左辺が同じ規則の確率の総和は１
  - 左辺の記号を条件にした条件付き確率
文脈自由文法
CKY法
確率文脈自由文法
ビタビアルゴリズム