compcogneuro/web: constraint-satisfaction
このページは外部資料の日本語訳です。原文の見出し順と本文順を保ち、コード・URL・出典表記はできるだけ原形のまま残しています。
出典とライセンス
原典: https://github.com/compcogneuro/web/blob/main/content/constraint-satisfaction.md
ライセンス: Text: CC BY 4.0; code: BSD 3-Clause。このページは日本語翻訳であり、変更点は翻訳とサイト内整形です。
+++ Categories = [“Computation”, “Activation”] bibfile = “ccnlab.json” +++ 制約充足は、[[neocortex]] における [[bidirectional connectivity]] の能力を理解するための最も重要な概念の 1 つであり、[[Axon]] アプローチの約束の中心となります。これは、多くの利点を維持しながら野生的な側面を飼いならす方法で広範な双方向接続を組み込んだ数少ないニューラル ネットワーク モデルの 1 つです。
{id=”figure_hopfield” style=”高さ:30em”}
制約満足問題 (CSP) は、N 個の変数に対して定義された一連の制約を満たす一連の値を見つけることとして定義されます ([[@Tsang14]])。古典的な例は、N クイーン問題です。この問題では、2 つのクイーンが互いに脅し合わないように、N 個のチェスのクイーンをボード上に配置する必要があります。このような問題のもう 1 つは、巡回セールスマン問題 (TSP) で、双方向接続のホップフィールド ネットワークを使用して [[@^HopfieldTank85]] によって分析されます。これには、N 都市間の最短距離のルートを見つけることが含まれます ([[#figure_hopfield]])。
したがって、CSP は本質的に、すべての可能な状態に対して [[search]] を実行して、課せられた一連の制約に最もよく適合する状態を見つけるという問題です。状態の数が増加すると、可能な状態の数は [[curse of dimensionality]] により指数関数的に増加します。
双方向接続されたニューラル ネットワークは、専用並列 表現に対する単一の勾配ベースの計算ステップですべての制約を統合し、考えられる解の状態に対して_確率的勾配降下_ プロセスを効果的に実行することにより、この検索プロセスを非常に効率的な方法で実装できます。これは、[[search]] で説明したように、可能な表現の高次元空間を検索するために [[error-backpropagation]] 学習で使用される戦略と本質的に同じです。数学的には、これは実質的に [[error backpropagation#backpropagation to activations]] のプロセスです。
純粋なフィードフォワード ネットワークは、現在の入力セットを処理するときに表現を動的に適応させず、学習した重みに基づいて 1 回のスイープで表現を生成するだけです。したがって、彼らは現在の状況を解釈する最も_満足のいく_方法を見つけるためにこれらの表現を最適化しているわけではありません。対照的に、双方向に接続されたニューロン間の反復的な往復の相互作用により、最終的に能動表現が最適化され、その後の学習の基礎が提供されます。