局所最適解は 近傍で損失が最も少ない点 大域最適解は 探索空間全体で損失が最小 最適化アルゴリズムは 局所解にとどまることがある 必ずしも 大域最適には達しない 凸関数の最適化では 局所最適は大域最適 大域最適解は 損失が最も小さい点 鞍点はある方向では 損失が減り 別の方向では 損失増える平衡点 勾配が０でも 最適とは限らない 高次元では鞍点が多く 最適化を妨げる ノーフリーランチ定理は すべての問題に普遍的に 最も良い学習アルゴリズムは 存在しない アルゴリズムの有効性は 問題分布に依存する 勾配＝０は 極値か鞍点のどちらか
