compcogneuro/web: weight-decay
このページは外部資料の日本語訳です。原文の見出し順と本文順を保ち、コード・URL・出典表記はできるだけ原形のまま残しています。
出典とライセンス
原典: https://github.com/compcogneuro/web/blob/main/content/weight-decay.md
ライセンス: Text: CC BY 4.0; code: BSD 3-Clause。このページは日本語翻訳であり、変更点は翻訳とサイト内整形です。
+++ Categories = [“Learning”, “Computation”] bibfile = “ccnlab.json” +++ 多くの [[abstract neural network]] モデルでは、重み減衰 が [[error backpropagation learning]] に事前に制約やバイアスを課す正則化要因としてよく使用されます。 [[bias-variance tradeoff]] のコンテキストでは、重み減衰バイアスはさまざまな学習結果間の分散を低減し、問題を解決するのに十分な重み値を維持しながら、一般に重み値が可能な限り小さいソリューションを優先します。
重み減衰は統計回帰でも長い間使用されてきました。これは数学的には線形活性化関数を備えた 2 層ニューラル ネットワークと同等です。具体的には、なげなわ 回帰では L1 ノルム (重みの絶対値) に基づく重み減衰が使用され、リッジ 回帰では L2 ノルム (重みの 2 乗値) に基づく重み減衰が使用されます (wikipedia リンク)。
[[Leabra]] モデルでは、[[Hebbian learning]] は重み減衰と同様に正則化バイアスとして使用されます。