6-3 自然言語処理1 テキストデータの扱い(レゲエ風)

[Verse 1] n-gram　連続するn個の単語や文字で文をとらえる手法 ユニグラム　一語ずつ分ける基本の形 バイグラム　二語ずつ繋げて関係を見る トライグラム　三語でより深い文脈をつかむ ユニ・バイ・トライで覚えよう！ [Verse 2] トークン化　文章を意味のある単位に分割する処理 ワンホットベクトル　単語を1つだけ1にして表す初歩の方法 [Chorus] BoW　単語の出現回数だけで文章を表す仕組み TF　文書内の単語の出現頻度 IDF　珍しさを測る。多くの文書に出るほど重みが下がる TF-IDF　TFとIDFを掛け合わせて単語の重要度を出す [Bridge] 分布仮説　似た意味の単語は似た場所で使われる Word2Vec　文脈情報から単語の意味を学ぶ埋め込み手法 [Verse 3] Skip-gram　中心語から周囲の単語を予測する方式 CBOW　周囲の語から中心の単語を予測する方式 ウィンドウサイズ　前後何語まで文脈とみなすかの範囲 [Bridge 2] ELMo　前後の文脈で意味が変わるベクトルを出す 双方向LSTM　前向き・後ろ向きに文を読み解くモデル 層の重み付け　意味や構文に応じて層ごとに学習を調整する [Final Chorus - Soaring] エーアイが言葉を感じ取り 文の奥行きをつかみとる 意味が揺れても見失わない 自然言語に想いを乗せて [Outro] 一語一語に意味がある 積み重ねれば伝わるチカラ エーアイが学ぶ、言葉の世界 僕らの声が届くように