コサイン類似度と相互情報量覚えうた

コサイン類似度は 大きさを無視し 方向の近さを示す指標 相互情報量は変数間の依存度と 不確実性の減少量を示す指標 コサイン類似度は ベクトル間の角度の近さ 1に近いほど類似 0が直交で無関係 マイナス1は真逆を示す ベクトルの大きさに 影響されない 文書の長さが異なる テキスト比較に有効 自己情報量は 事象の起こりにくさ 発生確率が低いほど大きい エントロピーは 情報量の期待値で 不確実性の度合い 相互情報量は エントロピーの減少量 2つの変数の関連性や 依存関係の強さ 一方を知ることで減る もう一方の不確実性 0のとき2つの変数は完全に独立 コサイン類似度は方向の近さ 相互情報量は不確実性の減少量