compcogneuro/web: attractor-dynamics

+++ Categories = [“Activation”, “Cognition”] bibfile = “ccnlab.json” +++ {id=”フィギュア_アトラクター”}

ノイズが多い、弱い、または曖昧な入力が与えられた場合に適切な内部表現に収束するプロセス全体は、アトラクター ダイナミクス ([[#figure_attractor]]) の観点から要約できます。アトラクターは、動的システム理論からの概念であり、動的システムが引力で向かう傾向にある安定した構成を表します。アトラクター力学のよく知られた例は、科学博物館でよく見られるコイン重力井戸です。デバイスの上部にあるスロットにコインを転がすと、逆さまの鐘の形をした「重力井戸」の縁の周りにコインが転がり落ちます。この井戸の中央の穴の周りを周回し続けますが、回転するたびに中央の「アトラクター」状態に近づきます。どこからコインを開始しても、コインは常に同じ最終状態に吸い込まれます。

これがアトラクターの背後にある重要なアイデアです。多くの異なる入力はすべて同じ最終状態に吸い込まれます。アトラクター ダイナミックが成功した場合、この最終状態は入力パターンの正しい [[categorization]] になるはずです。おそらく、このアトラクターのダイナミクスを最も主観的に体験できるのは、オートステレオグラム (wikipedia リンク) を表示しているときです。このランダムに見えるパターンを寄り目で見つめているだけで、ゆっくりと脳が 3D アトラクターに落ち込み始め、画像がゆっくりと浮かび上がります。基礎となる画像には、異なる横方向のオフセットでの両目の間のランダム パターンの個別の一致が多数含まれています。これらは、最終的に連携して 3D 画像が表示される複数の制約満足問題における制約です。この 3D 画像は、これらすべての制約を最もよく満たす画像です。

{id=”フィギュア_ダルメシアン” スタイル=”高さ:20em”}

双方向の興奮ダイナミクスが明らかなさまざまな例が数多くあります。

• トップダウンの画像 — 紫色のカバがどのようなものかを想像してみてください。これまで見たことがなくても、おそらくうまく想像できるでしょう。トップダウンの興奮的なつながりを介して、高レベルの言語入力は、対応する視覚的表現を駆動することができます。たとえば、家やアパートのさまざまな物の位置を想像すると、それらの物体間の実際の空間距離を反映した反応時間が生じます。私たちは画像の中で実際の空間/視覚表現を使用しているようです。

• トップダウンの曖昧さの解決 — 多くの刺激は、さらなるトップダウンの制約がなければ曖昧です。たとえば、これまで [[#figure_dalmatian]] を見たことがない場合、おそらくその中にダルメシアン犬を見つけることはできないでしょう。しかし、その手がかりを読んだので、ダルメシアンがどのように見えるかについてのトップダウンの意味論的な知識は、アトラクターのダイナミクスがシーンの一貫したビューに収束するのに役立ちます。

• パターンの完成 — 「昨日の夕食は何を食べましたか」と尋ねると、この部分的な入力キューは脳内 (おそらく海馬内) の適切な記憶表現を部分的に興奮させることができますが、この部分的な興奮が記憶回路を通じて反響し、完全な記憶トレースの欠落部分を埋めるには、双方向の興奮ダイナミクスが必要です。この反響プロセスは、ちょうど重力井戸の周りを周回するコインのようなものです。システムが正しい記憶トレースの周りを「周回」するにつれて、さまざまなニューロンが活性化および抑制され、最終的には完全な正しい記憶トレースに収束します（またはそうでない場合もあります）。場合によっては、いわゆる 舌先 状態では、取得しようとしている記憶が * 把握できず、システムがアトラクター状態に完全に収束できないことがあります。いやぁ、それはイライラするかもしれませんね！通常、最終的なアトラクターに到達するためにあらゆることを試みます。私たちは未解決の状態が長期間続くことを好みません。

エネルギーと調和

アトラクターの垂直軸 ([[#figure_attractor]]) のようなものを捉える数学的な方法があります。これは、重力井戸の物理用語では「位置エネルギー」です。驚くことではないかもしれませんが、この尺度は エネルギー と呼ばれ、ジョン ホップフィールドという物理学者によって開発されました。彼は、重力井戸内でのコインの局所的な運動が全体の位置エネルギーを減少させるのと同じように、ユニットの活性化状態の局所的な更新が最終的に全体的なエネルギーの尺度を減少させることを示しました([[@Hopfield82]]; [[@Hopfield84]])。

別の物理学者、ポール・スモレンスキーは、符号を反転した代替フレームワークを開発しました。このフレームワークでは、ユニットの活性化状態のローカルな更新により、「グローバルな調和が増加」します ([[@Smolensky86]])。そのほうがいいですね。モデルを実行するためにこれらの方程式は実際には必要ありません。これらの方程式が私たちに伝えることの基本的な直感はアトラクターの概念によって捉えられますが、興味があるかもしれない人のために以下で方程式を展開します。

ホップフィールドのエネルギー方程式は次のとおりです。

{id=”eq_hopfield”} \(E = - \frac{1}{2} \sum_j \sum_i x_i w_{ij} y_j\)

ここで、x と y はそれぞれ送信ユニットと受信ユニットのアクティベーション (i と j でインデックス付け) を表し、w はそれらの間の重みです。

ハーモニーは文字通り、マイナス記号を除いたものと同じです。

{id=”eq_harmony”} \(H = \frac{1}{2} \sum_j \sum_i x_i w_{ij} y_j\)

送信ユニットと受信ユニットの各ペアについて、これらのユニット $x_i$ および $y_j$ のアクティブ化がこれら 2 つのユニット間の重みと一致する範囲までハーモニーが最大化されていることがわかります。重みが大きく正の場合、これら 2 つのユニットが両方とも同時にアクティブであれば調和するようにネットワークが構成されます。重みが負の場合 (抑制性投影の単純なバージョン)、それらのユニットは、反対の符号 (一方がアクティブで他方が非アクティブ) を持つ場合にのみ、より大きな調和に貢献します。

これらの方程式の重要な特徴は、_ローカルな更新がエネルギーまたはハーモニーに対する信頼性の高いグローバルな効果_を推進することです (エネルギーの減少またはハーモニーの増加)。これを確認するには、微積分の数学を使用して、受信ユニットの起動の変化に関するグローバル方程式の導関数を取得します。

{id=”eq_dh”} \(\frac{\partial H}{ \partial y_j} = \sum_i x_i w_{ij}\)

微分値を取得すると、微分値がゼロのときに発生する関数の最大値を見つけることができます。したがって、これにより、ハーモニーを最大化するために入力と重みの関数として $y_j$ をどのように変更 (更新) するかを決定するための規範的な公式が得られます。この方程式は本質的に、[[neuron]] への正味興奮性コンダクタンス、または「正味入力」として認識されるかもしれません。

これは、linear 活性化関数 (活性化 y = 直接正味入力) を使用してユニットを更新すると、調和が最大化されるかエネルギーが最小化されることを意味します。興味深いことに、飽和非線形 を持つシグモイドやロジスティックなどの非線形活性化関数は、追加の「ペナルティ」項 (ホップフィールド フレームワークでは entropy、スモレンスキー フレームワークでは stress と呼ばれます) を導入することによって導出できます。これは本質的に正味入力の高い値または低い値に対する神経活性化関数の飽和を駆動します。

シミュレーション

• [[faces simulation]] (パート II) は、トップダウン処理とボトムアップ処理がどのように相互作用して画像を生成し、曖昧な入力 (部分的に遮られた顔) を解決するかを示します。

• [[necker cube simulation]] は、古典的な曖昧な視覚刺激の場合に、側方の興奮性接続がどのようにしてアトラクターのダイナミクスを生み出すことができるかを示しています。

• [[cats and dogs simulation]] は、猫と犬に関するさまざまなレベルの情報を表すセマンティック ネットワークにおけるボトムアップとトップダウンのダイナミクスを示します。