データクレンジング・結合覚えうた

データクレンジングは データの誤りや 欠損を修正して 品質を高める処理 データ結合は共通キーで 複数の表を結びつける処理 重複データは 同一内容のデータが 複数存在する状態 名寄せは重複して存在する 同じ人や企業のデータを 識別し一つに統合 表記揺れは 同じ意味のデータが 異なる表記で存在すること データ形式の統一は 表記揺れや単位を揃えること 欠損値は値が記録 されていないデータで NULLや空欄 欠損値は データクレンジングで 平均値で埋めたり 削除する対象 外れ値は他のデータから かけ離れた異常な値 外れ値は入力ミスの 可能性があるため データクレンジングで 確認 処理する ETLはデータを統合する処理 Extractは抽出 Transformは変換 Loadは格納 データクレンジングは 誤りや欠損を修正して 品質を高める処理 データ結合は共通キーで 複数の表を結びつける処理