Week 2 about coursera-machine-learning

[yubessy]

「正規化」に対応する各英語の違いについて

日本語で「正規化」と訳される英語の中で、機械学習の話に出てくるものには以下のようなものがあります。

• scaling
• normalization
• standarization
• regularization

これらはそれぞれ異なる意味をもっています。以下でそれについて自分なりに説明してみます。

scaling

特徴量の取りうる範囲を変換することです。

極論を言えば、特徴量に適当な定数を掛け算することも scaling と言えます（手法としてなんの意味も持ちませんが）。

normalization

特徴量の取りうる範囲を ある基準に従うように 変換することです。

例えば x -> (x - m) / (M - m) は、 x を最大値1、最小値0という基準に従うよう変換するので normalization と言えます。

standarization

特徴量の取りうる範囲を 標準正規分布に従うように 変換することです。

具体的には x -> (x - μ) / σ (σは分散) による変換のことです。

regularization

学習の結果として得られるモデルが未知の値に対応できるよう、目的関数に制約を加えること（またはその制約を加えた目的関数を使って学習を行うこと）です。

これについて簡単に説明するのは難しいですが、この先の講義で語られると思います。
とりあえず regularization は上の3つとは全く違う種類の概念と考えてください。

ref.

• Feature scaling - Wikipedia, the free encyclopedia
• data transformation - Normalization vs. scaling - Cross Validated
• Regularization (mathematics) - Wikipedia, the free encyclopedia

[chezou]

"regularization"は日本語訳でも「正則化」という訳語が使われるのが一般的で、正規化とは別の概念ですね