BoWは Bag-of-Words 袋だから語順無視ただの回数 TF-IDFは重要な特徴語 n-gramは語順を少し考慮 Bag-of-Wordsは 単語の出現回数のみ 語順や文脈を 無視してベクトル化 次元数はユニークな語彙数 文脈無視し ベクトルがスパース TFはその文書での頻度 IDFは全体でのレア度 逆数 TF-IDFは掛け合わせた値 ここだけ多い重要な特徴語 n-gramは隣り合うn個 局所的な語順を考慮 バイグラムは2 トライグラムは3 語彙が爆発 スパースになりすぎる Bag-of-Wordsは 語順無視で回数のみ TFは頻度 IDFはレア度 TF-IDFは重要な特徴語 n-gramは隣り合う n個で語順を考慮
