bibfile: ccnlab.bib —

ネットワーク

この章では、前の ニューロン 章を基礎にして、検出器のネットワークが、単純な神経構成要素の合計を超える創発的な動作をどのように生成できるかを理解します。私たちは、新皮質 (「新しい皮質」、単に「皮質」と呼ばれることも多い) のネットワークに焦点を当てています。新皮質は、進化的に最も新しい、高度な認知機能のほとんどが行われる脳の外側の部分です。緊急のネットワーク現象には、次の 3 つの主要なカテゴリがあります。

• 多様な活動パターンの関連グループへの分類: たとえば、生の「ピクセル」入力に関しては、顔は互いに大きく異なって見える可能性がありますが、これらの多様な入力をさまざまな方法で分類して、一部のパターンを他のパターンよりも類似しているものとして扱うことができます。男性対女性、若者対老人、幸せ対悲しい、「母親」対「他の誰か」など。これらのカテゴリーを形成することは、適切な行動的および認知的反応 (アプローチとアプローチ) を可能にするために不可欠です。避ける、お金を借りるなど）。このようなカテゴリの恩恵を受けずに、顔の視覚的な画像のすべての生の入力を適切な行動反応に関連付けようとしているところを想像してみてください。ピクセルと応答の間の関係 (「マッピング」) はあまりにも複雑です。これらの中間的な抽象的なカテゴリは、ファイル フォルダーがコンピューター上のドキュメントを整理して簡素化するのと同じように、認知を整理して簡素化します。知性の多くは、これらの抽象的なカテゴリーを正しい方法で開発し、使用することに相当すると主張する人もいるでしょう。生物学的には、階層に編成された神経検出器の連続した層が、この種のますます抽象化された世界の分類をどのように可能にするのかを見ていきます。また、処理の各段階で多くの個別の神経検出器が連携して、分散表現 の形式で、複雑な概念的カテゴリをエンコードするために必要な微妙さと複雑さを捕捉できることもわかります。これらの分散表現は、入力を同時にアクティブに分類する複数の異なる方法を可能にするためにも重要です。たとえば、特定の顔が女性、老人、幸せであると同時に認識できます。人間の脳の創発的知能の大部分は、複数の連続したレベルのカスケード分散表現から生じ、皮質で一緒に働く数十億の*興奮性錐体状**ニューロンの集団行動を構成します。

• 双方向の興奮ダイナミクスは、新皮質における広範な双方向性 (例: ボトムアップとトップダウン、または フィードフォワード と フィードバック) 接続によって生成されます。情報が脳全体の全方向に流れる能力は、無関係な受信刺激に気を取られずに目の前のタスクに集中する能力 (電子メールの受信箱がビープ音を鳴らしましたか??) や、より高いレベルの知識をより低いレベルの処理段階にもたらすことで入力のあいまいさを解決する能力などの現象を理解するために重要です。たとえば、大勢の人が集まる中で (スポーツ イベントやショッピング モールなどで) 仲間を検索しようとしている場合、探しているもののイメージ (赤いジャケットなど) を保持しておくと、下位レベルの段階で関連する処理を促進するのに役立ちます。双方向接続の全体的な効果は、アトラクターの動的 または 複数の制約を満たす という観点から要約できます。ネットワークはさまざまな異なるアクティビティ状態で開始され、最終的には共通のアトラクター状態に「吸い込まれ」、ノイズの多い、またはあいまいな入力パターンのクリーンアップされた安定した解釈を表します。おそらく、このアトラクターのダイナミクスを最も主観的に体験できるのは、オートステレオグラム (wikipedia リンク) を表示しているときです。このランダムに見えるパターンを寄り目で見つめているだけで、ゆっくりと脳が 3D アトラクターに落ち込み始め、画像がゆっくりと浮かび上がります。基礎となる画像には、異なる横方向のオフセットでの両目の間のランダム パターンの個別の一致が多数含まれています。これらは、最終的に連携して 3D 画像が表示される複数の制約満足問題における制約です。この 3D 画像は、これらすべての制約を最もよく満たす画像です。

特殊な抑制性介在ニューロンによって媒介される* 抑制性競合は、ネットワーク活動全体を動的に制御するために重要であり、双方向接続の場合のようにニューロン間に正のフィードバックループがある場合に特に重要です。人間の新皮質におけるてんかんの存在は、抑制と興奮の間の適切なバランスを達成することが難しいことを示しています。脳はこの双方向の興奮から非常に多くの利益を得ているため、明らかに抑制で制御するギリギリの状態にあります。阻害により sparse 分散表現 (一度にアクティブになるニューロンの割合が比較的少ない、たとえば 15% 程度) が生じます。これには、一度に多くのニューロンがアクティブになる分散表現に比べて多くの利点があります。さらに、学習の章では、抑制によって生み出される競争力学の結果として、ダーウィンの「適者生存」力学と同様に、抑制が学習プロセスにおいて重要な役割を果たすことがわかります。

まず、新皮質における神経ネットワークの生物学の概要を簡単に説明します。

新皮質の生物学

大脳皮質または新皮質は、約85%の興奮性ニューロン(主に錐体ニューロンですが、第4層の星状細胞も含む)と15%の抑制性介在ニューロン([@fig:fig-cortex-bio-neurtypes])で構成されています。私たちは主に、皮質における情報処理の大部分を実行する興奮性錐体ニューロンに焦点を当てます。局所的な抑制性介在ニューロンとは異なり、それらは異なる皮質領域間の長距離接続に関与しており、学習がこれらの興奮性ニューロン間のシナプスで行われることは明らかです（抑制性ニューロンについては証拠がさらに混在しています）。抑制性ニューロンは、車のエンジンの冷却システム (ラジエーターと冷却剤) とよく似て、錐体ニューロンによって生成される興奮性の熱を「冷却」するものとして理解できます。これらの抑制性介在ニューロンがないと、システムは興奮によって過熱し、てんかん発作で固まってしまいます (これは、たとえば抑制性 GABA チャネルをブロックすることで簡単にわかります)。しかし、皮質の外側にも抑制性ニューロンを介して重要な情報処理が行われる領域（大脳基底核や小脳など）があり、確かに皮質内であってもこの厳しい分業に反対する研究者もいるでしょうが、それでも非常に有用な簡素化です。

階層構造

新皮質は特徴的な 6 層構造 ([@fig:fig-cortex-bio-layers]) を持ち、皮質の全領域 ([@fig:fig-cortex-bio-arealayers]) に存在します。しかし、[@fig:fig-cortical-layers-in-hid-out] に要約されているように、異なる機能を持つ異なる皮質領域は 6 つの層それぞれの厚さが異なり、これがこれらの層の機能についての重要な手がかりを提供します。皮質の接続の解剖学的パターンも、次のような機能的全体像を生み出す重要な情報源です。

皮質の * 入力 領域 (一次視覚野など) は感覚入力 (通常は視床を介して) を受け取ります。これらの領域には非常に拡大した 第 4 層 があり、視床からの軸索が主に終端する場所です。入力層には、星細胞 細胞と呼ばれる特殊なタイプの興奮性ニューロンが含まれています。この細胞は、比較的局所的に密集したふさふさした樹状突起を持ち、この層への局所的な軸索入力の収集に特に優れているようです。

• 皮質の隠れた領域は、感覚入力を直接受け取らず、運動出力を直接駆動しないため、その中間のどこかに「隠されている」と呼ばれます。この定義では皮質の大部分が「隠され」ており、これらの領域が感覚入力からますます洗練された抽象的なカテゴリを作成し、これらの高レベルのカテゴリに基づいて適切な行動反応を選択するのに役立っていると考えると、これは理にかなっています。これは、大部分の皮質が何らかの形で行っていることです。これらの領域には厚い 表層 2/3 があり、この重要な分類機能を実行するために適切に配置された多くの錐体ニューロンが含まれています。

• 出力皮質領域には、筋肉制御領域 (「モーター出力」) に直接シナプスを形成するニューロンがあり、電気的に直接刺激されると物理的な動きを引き起こすことができます。これらの領域にははるかに厚い 深層 5/6 があり、軸索の突起が多くの異なる皮質下領域に送り返されます。

要約すると、皮質の層ごとの (層状) 構造と、さまざまな皮質領域の領域ごとの機能が収束して、皮質が何をしているのかを明確に描くことができます。皮質は感覚入力を受け取り、多くの異なる重要な方法でそれらを処理して、行動に関連するカテゴリーを抽出し、適切な運動反応を引き起こすことができます。これと同じ基本構造を、調査するほとんどのモデルに採用します。

接続のパターン

皮質領域間の長距離接続および皮質領域内の側方接続の主要なパターンは、[@fig:fig-cortical-cons-ff-fb-lat] に示されています。上で説明した入力 - 隠れた - 出力の層構造と一致して、フィードフォワード の情報の流れは、領域の皮質階層を「上へ」進み (つまり、感覚入力からさらに遠ざかり)、ある領域の入力から隠れた領域に進み、次に次の領域の入力から隠れた領域に進みます。感覚入力から脳のより高次のレベルへのこの情報の流れは、次のセクションで詳しく説明する、ますます抽象化されたカテゴリーの階層の形成をサポートします。

逆方向に流れる情報 (フィードバック) は、ある領域の非表示と出力から、前の領域の非表示と出力へと進みます。この章の後半では、この逆方向の情報の流れがどのようにして行動に対するトップダウンの認知制御をサポートし、注意を向け、感覚入力 (遍在する) のあいまいさを解決するのに役立つかについて説明します。このパターンでは、ある領域では非表示から出力に移行し、前の領域では非表示から出力に移行することが予想されるかもしれませんが、このパターンはストーリーの一部にすぎません。さらに、非表示レイヤーはエリアを越えて相互に直接通信できます。さらに、出力領域は相互に直接通信することもできます。このパターンは、多くの皮質領域の出力層が隠れ層パターンの追加コピーとして機能し、追加の接続 (特に皮質下領域へ – すべての皮質領域が複数の皮質下領域に投影される) を作成するのに役立つと仮定することで単純化できます。したがって、重要な計算機能は、領域間の非表示から非表示への接続 (フィードフォワード方向に介在する入力層によって媒介される) で直接行われ、出力層は、これらの非表示表現をより広範囲に通信するための「外部インターフェイス」を提供します。この一般的な考え方の例外は皮質の運動出力領域であり、そこでは出力層がより独立した何かを行っている可能性があります (出力層はこれらの領域では少なくともかなり大きい)。

各皮質領域には、同じ領域内のニューロン間の広範な 側方 接続もあり、これは、第 4 層で終了することを除いて、フィードバック投影と同じ一般的なパターンに従います。これらの側方接続は、フィードバック投影の機能と非常によく似た機能的役割を果たします。本質的に、それらは「自己フィードバック」を表します。

私たちのモデルにとって非常に重要になる皮質接続のもう 1 つの重要な側面は、接続が主に 双方向 ([@fig:fig-cortex-bidir-cons-map]) であることです。したがって、フィードフォワード投影を別のエリアに送信するエリアは、通常、同じエリアからの相互フィードバック投影も受け取ります。この双方向接続は、ネットワークが層全体で一貫したアクティビティの全体的な状態に収束できるようにするために重要であり、学習の章で説明するように、エラー駆動型の学習を推進するためにも重要です。

次に、入力のカテゴリ表現を開発することによって、領域間のフィードフォワード興奮性の接続がどのように知的行動をサポートできるかを見てみましょう。

分類と分散表現

この章の導入部分で説明したように、ネットワークに入る入力のカテゴリ表現を形成するプロセスにより、システムはより強力で「インテリジェントな」方法 [@fig:fig-category_hierarch_dist_reps-3] で動作できるようになります。哲学的には、私たちの精神的カテゴリーがどこから来るのかについては興味深い質問です。私たちの精神的カテゴリーの根底には客観的に現実的な何かがあるのでしょうか、それともそれらは私たちが現実に押し付けている単なる幻想なのでしょうか？ 「椅子」という概念は 現実世界 * に本当に存在するのでしょうか、それとも単に私たちが生活できるように (疲れた足を休めるために) 脳が構築したものなのでしょうか?この問題は、哲学の黎明期から考えられてきました。たとえば、プラトンは、私たちは洞窟の中に住んでいて、洞窟の向こうにある真の現実の壁の影だけを認識しているという考えを示しました。椅子について、椅子をそのように分類することを可能にする何か*「客観的」があることはもっともらしいように思えますが(つまり、それらは純粋に集団的な幻覚ではありません)、その厳密で正確な定義を提供することは、非常に困難な取り組みであるようです(試してみてください!段ボール箱、雪の塊、ドールハウスのミニチュア椅子、または美術館にある誰も座ったことのない椅子を忘れないでください)。私たちの概念のほとんどが、自然界に非常に正確な根拠を持つ真の「自然の種類」であるとは思えません。ニュートンの物理法則のようなものは、強力な客観的根拠があるように見えますが、ほとんど明確に定義されていない椅子のような日常的なものに比べれば、おそらく矮小化されているでしょう（そして物理学の「素朴な」理解も、多くの場合、実際には正しくないことがよくあります）。

概念的カテゴリーの存在論的状態が乱雑であることは、私たちにはあまり気にされません。前の章で見たように、ニューロンは何千もの異なる入力信号を統合できる非常に有能な検出器であり、それによって複雑で不定形なカテゴリを処理できます。さらに、学習により、これらのカテゴリー表現を形成して、行動に関連するものをピックアップできることがわかります。これらのものが何であるかを定義する際に形式や厳密さを必要としません。つまり、私たちの心のカテゴリーは、何らかの形で私たちに役立つために発達し、外界は私たちの探知機がこれらのものを感知するのに十分な信頼できる信号を生成します。重要なのは、これらのカテゴリーを学習するための主な推進力は社会的および言語的相互作用であり、これによって非常に複雑で曖昧なものを学習および共有できるようになります。最も奇妙なことは社会的相互作用を通じて学ぶことができます（たとえば、チップスの袋の中にあるかなりの余分なスペースは「スナックモスフィア」と呼ばれていることがわかりました、リッチ・ホールの厚意により）。このように、私たちの文化的環境は、私たちの精神的表象を形成する上で重要な役割を果たしており、私たちが同じくらい知的であることを可能にする大きな力であることは明らかです（私たちは、「スナックモスフィア」などと一緒にいくつかの有用なアイデアを拾うことがあります）。精神的カテゴリーに関するこの緩い視点から生じる真理と相対主義の哲学的問題をさらに深く掘り下げたい場合は、付録 カテゴリーの哲学 の章を参照してください。

[@fig:fig-face-categ-dim-prjn] は、高次元空間* の特定の ** 次元** に沿って * 入力パターンを投影するものとして、ニューロンとその重みの補完的なビューを提供します。 数学的には、シナプスの重みは、ドット積を使用して神経活動信号の高次元の入力ベクトルを乗算するベクトルです。これは、重みと活性化を乗算し、合計を加算するだけです。これは、重みベクトル次元への入力空間の投影としても知られています。 この投影操作は、行動の重要性の次元 (たとえば、図に示されているケースでは感情と性別。以下の調査で使用されます) に沿って入力を整理および体系化します。

線形代数の用語では、ニューラル重みは新しい 基底セット に沿って入力空間を 回転します。ここで、基底セットは、入力を エンコードする異なる方法を提供する、異なる 軸 (X 軸や Y 軸など) または次元のコレクションです。 さらに、これらの用語では、学習とは、入力をエンコードするための適切な基底セットを見つけるプロセスであり、AI で使用されている現在のディープ ニューラル ネットワークは、主に、それぞれが異なるそのような「回転」を適用する多くの連続した層にわたって、そのようなネットワークの「上部」で、いくつかの非常に有益なそのような次元が抽出されているように、まさにそれを行っています (たとえば、一連の入力画像から抽出されたオブジェクト カテゴリ)。

ニューロンを検出器で観察する方法は、前の章で見たように、抑制の役割とニューロン発火閾値を理解するのに役立ちます。これは、検出された項目に対する *アクティブな * 発火と、その他すべてに対する非発火を特に区別し、ニューロンが何をしているのかについてのより「個別の」ビューを提供します。 対照的に、寸法投影フレームワークは、より連続的な数学的ビューを提供します。 どちらも脳内で何が起こっているかを理解するのに役立つ方法です。

適切なカテゴリを持つ (そして、特定の状況に応じてカテゴリを適切に選択する) ことの重要性を理解する直観的な方法の 1 つは、洞察の問題 から得られます。これらの問題は、多くの場合、状況を分類する通常のデフォルトの方法が間違った方向に導くように設計されており、問題を解決するには、新しい方法 (「既成概念にとらわれずに考える」) で問題を再表現する必要があります。たとえば、次の「難問」について考えてみましょう。「森の中の小屋で男性 2 人が死亡しています。何が起こったのでしょうか?」 — その後、あなたは一連の正誤質問を続け、最終的に、パズルを解くためには「キャビン」という単語を分類する別の方法を選択する必要があることに気付きます。以下は、これらの種類の 難問 のリストです (外部リンク)。

コンピューター プログラマーにとって、最も重要な教訓の 1 つは、正しい表現を選択することが、特定の問題を解決するための最も重要なステップであるということです。簡単な例として、「ヒープ」の概念を使用すると、並べ替えの問題に対する特に洗練された解決策が可能になります。二分木は広く使用されている表現形式でもあり、さまざまな問題の計算時間を大幅に短縮することがよくあります。一般に、必要なことを簡単に実行できる表現を見つけたいだけです。これはまさに脳の働きです。

物事をカテゴリー的に符号化する脳の傾向の一般的な例の 1 つは、ステレオタイプ です。ステレオタイプとは、実際には、人々のグループに適用される単なる精神的なカテゴリーです。誰もがそれらを持っているように見えるという事実は、これが脳の基本的な仕組みであることを示す強力な証拠です。私たちはこのような抽象的なカテゴリーで考えざるを得ません。上で議論したように、カテゴリーは一般に、私たちが世界に賢く対処できるようにするために不可欠です。しかし、ステレオタイプ的思考に伴う明らかな問題は、これらのカテゴリーにも問題があり得ることを示しており (特にステレオタイプ的思考、より一般的にはカテゴリー的思考にとって)、特定の個人や状況の詳細を正確に表現する私たちの能力が制限されます。次に説明するように、多くの異なるカテゴリ表現を同時にアクティブにすると、これらの問題を軽減できる可能性があります。このような複数の潜在的なカテゴリーを同時に楽しむ能力は、政治的信念や宗教的信念 [@CritcherHuberHoEtAl09; @NamJostBavel13] などに関連する個人差変数である可能性があります。こういうのは面白くなりそうですね！

分散表現

私たちの心のカテゴリーは、やや不定形であることに加えて、非常に多形でもあります。あらゆる入力は、同時に多くの異なる方法で分類できます。どのようなものに対しても、適切なレベルの分類などというものは存在しません。椅子は、家具、アート、ゴミ、薪、ドアストッパー、プラスチック*など、さまざまなものにもなりえます。カテゴリの不定形性と多形性の両方の性質は、分散表現 の概念にうまく対応しています。分散表現は、検出器としての多数の個別のニューロンで構成され、それぞれが異なるものを検出します。この検出器集団全体にわたる出力アクティビティ (「検出アラーム」) の集合パターンは、精神的なカテゴリの不定形性を捉えることができます。これは、精神的なカテゴリに含まれる単一の離散的な要因ではないためです。多くの要因があり、それぞれが役割を果たします。椅子には座面があり、場合によっては背もたれがあり、通常は椅子のような形状をしていますが、その形状は非常に多様で奇妙な場合もあります。多くの場合、木材、プラスチック、金属で作られていますが、ボール紙やガラスで作られることもあります。これらのさまざまな要素はすべて、これらおよび他の多くの特徴（たとえば、問題のオブジェクトに関係する周囲のコンテキスト、行動および活動の履歴を含む）をコード化するために発火するニューロンの集団全体によって捕捉できます。

カテゴリの多様な性質についても同様です。あるニューロンのセットは椅子の椅子のような側面を検出している可能性があり、他のニューロンはそれが表す可能性のあるすべてのさまざまなもの（素材、より広範なカテゴリ、外観、スタイルなど）に基づいて活性化している可能性があります。椅子入力のこれらの異なる意味はすべて 同時にアクティブになる可能性があり、これは、これらの異なるカテゴリすべてを 同時に検出するニューロンによる分散表現によってよく捉えられます。

分散表現に関する実際のデータの一部を図 3.9 と 3.10 に示します。これらは、個々のニューロンが、それらを活性化する最適なものと比較した入力に対する 類似度 の関数として 段階的 に応答することを示しています (これと同じ特性が、ニューロンの章の検出器の探索で、複数の入力に応答するようにリーク レベルを下げたときに見られました)。 [@fig:fig-tanaka03-topo] は、サルの下側頭 (IT) 皮質における形状表現のトポロジーの全体的な概要マップを示しています。各領域には、それを活性化する特定の最適な刺激があり、隣接する領域には、類似しているが異なる最適な刺激があります。したがって、任意の所定の形状入力は、異なる検出器をアクティブにするのに十分な類似の特徴を備えている限り、これらの領域すべてにわたる分散パターンとしてエンコードされます。

分散表現のもう 1 つの実証は、[@HaxbyGobbiniFureyEtAl01] による、さまざまな視覚刺激を観察しながら人間の脳の機能的磁気共鳴画像法 (fMRI) を使用した画期的な研究から得られました ([@fig:fig-haxbyetal01-obj-maps])。彼らは、視覚システムが厳密なモジュール方式で組織され、顔と他の視覚カテゴリーの領域が完全に異なるという従来の主張に反して、実際には、これらの異なる視覚入力に対する視覚システムの広い領域にわたる活性化に高レベルの重複が存在することを示しました。彼らは、これらの分散された活動パターンに基づいて、fMRI 装置内の人物がどの物体を見ているかを高レベルの精度で識別できることを示しました。重要なのは、そのオブジェクトに対して最大の応答を示す領域を除外しても、この精度レベルが大幅に低下することはありません。これまでの「モジュール主義」研究では、これらの最大限に反応する領域の存在のみが報告されていました。しかし、サルのデータからわかるように、ニューロンは、刺激が最大限に活性化する入力に完全に適合していなくても、段階的に反応します。これらの段階的な反応は、入力刺激の性質について多くの情報を伝えることを示しました。

大まかなコーディング

[@fig:fig-coarse-coding] は、コース コーディング として知られる分散表現の重要な特定のケースを示しています。これは実際には上で説明したものと変わりませんが、目がどのように 3 つの光受容体だけを使用して光の可視スペクトル全体を捉えるかという特定の例は、分散表現の力を示す特に良い例です。光の個々の周波数は、さまざまな検出器にわたる段階的なアクティビティの 相対バランス という観点から一意にエンコードされます。たとえば、赤と緑の間の色 (例: 黄色の特定の色合い) は、赤と緑のユニットの部分的なアクティビティとしてエンコードされ、赤と緑の相対的な強度によって、チャートリューズと比べてどれだけオレンジ色に見えるかが決まります。要約すると、比較的少数のニューロンを使用して情報を効率的にエンコードするには、粗いコーディングが非常に重要です。

ローカリストの代表者

分散表現の反対は ローカリスト 表現です。この表現では、単一のニューロンがアクティブになって、特定のカテゴリの情報をエンコードします。私たちはローカリスト表現が実際の脳の特徴であるとは考えていませんが、それでも、計算モデル、特にネットワークに提示する入出力パターンに使用すると非常に便利です。さまざまな入力間の類似性を現実的に捕捉するための適切な分散アクティビティ パターンを構築することは、多くの場合非常に困難です。そのため、さまざまなタイプの入力ごとに単一の入力ニューロンがアクティブになるローカリスト入力パターンに頼ることが多く、そこからネットワークに独自の分散表現を開発させるだけです。

[@fig:fig-halle-berry-neuron] は、脳 [@QuirogaReddyKreimanEtAl05] に電極を埋め込まれたてんかん患者から記録された、「ハル ベリー」ニューロンの有名な事例を示しています。これは、祖母細胞 (1969 年にジェリー・レトビンによって作られた用語と思われる) として知られる、ローカリスト表現の極端な形式の証拠であると思われます。これは、あらゆる種類の入力に基づいて祖母にのみ反応し、他の人や物には反応しない、非常に具体的でありながら抽象的なニューロンを意味します。人々はそのような祖母細胞の概念を長い間嘲笑していました。それらの証拠は興味深いものですが（ビル・クリントンとジェニファー・アニストンの他のニューロンも含めて）、皮質の大部分のニューロンがどのように反応するかについての基本的な理解をほとんど変えることはありません。明らかに、ハル ベリーの画像が表示されると、皮質のすべてのレベルにある膨大な数のニューロンが反応するため、全体的な表現は依然として高度に分散されています。しかし、そのような入力を分類するさまざまな方法の中に、高度に選択的な「祖母」ニューロンがいくつか存在するようです。もう 1 つの未解決の疑問は、これらのニューロンが実際に他の入力に対して段階的な応答をどの程度示すかということです。図にはこれがある程度示されていますが、これをより広範にテストするにはさらに多くのデータが必要です。

探検

CCNシムズ (パート I のみ) で 顔 シミュレーションを開いて、顔画像をさまざまな方法 (感情、性別、アイデンティティ) で分類する方法を調べます。それぞれの方法で、入力刺激のある側面が強調され、他の側面では折りたたまれます。

双方向の興奮ダイナミクスとアトラクター

新皮質の複数の層を通る興奮のフィードフォワードの流れは私たちを知的にしますが、反対方向の興奮のフィードバックの流れが私たちを堅牢、柔軟性、適応性にするのです。このフィードバック経路がなければ、システムは、フィードフォワード、ボトムアップの情報の流れの中でシステムを最も強く駆動するために何が起こったとしても、それに基づいて応答することしかできません。しかし、多くの場合、私たちの第一印象は間違っているか、少なくとも不完全です。冒頭の「友達を探している」の例では、群衆をスキャンしても、その人物を適切に表現するのに十分な詳細情報が得られない可能性があります。トップダウンの活性化フローは、私たちが見つけられる関連する知覚情報 (赤いコートなど) に集中するのに役立ちます。この情報が、群衆を観察するときに入ってくるボトムアップ情報と相互作用するにつれて、私たちの脳は突然正しい答えに集中します。つまり、赤いコートを着た私の友人がいる!

ノイズが多い、弱い、または曖昧な入力が与えられた場合に適切な内部表現に収束するプロセス全体は、アトラクター ダイナミクス ([@fig:fig-attractor]) の観点から要約できます。アトラクターは 力学システム 理論の概念であり、力学システムが引力で向かう傾向にある安定した構成を表します。アトラクター力学のよく知られた例は、科学博物館でよく見られるコイン重力井戸です。デバイスの上部にあるスロットにコインを転がすと、逆さまの鐘の形をした「重力井戸」の縁の周りにコインが転がり落ちます。この井戸の中央の穴の周りを周回し続けますが、回転するたびに中央の「アトラクター」状態に近づきます。どこからコインを開始しても、コインは常に同じ最終状態に吸い込まれます。これがアトラクターの背後にある重要なアイデアです。多くの異なる入力はすべて同じ最終状態に吸い込まれます。アトラクターのダイナミクスが成功した場合、この最終状態は入力パターンの正しい分類になるはずです。

双方向の興奮ダイナミクスが明らかなさまざまな例が数多くあります。

• トップダウンの画像 — 紫色のカバがどのようなものかを想像してみてください。これまで見たことがなくても、おそらくうまく想像できるでしょう。トップダウンの興奮的なつながりを介して、高レベルの言語入力は、対応する視覚的表現を駆動することができます。たとえば、家やアパートのさまざまな物の位置を想像すると、それらの物体間の実際の空間距離を反映した反応時間が生じます。私たちは画像の中で実際の空間/視覚表現を使用しているようです。

• トップダウンの曖昧さの解決 — 多くの刺激は、さらなるトップダウンの制約がなければ曖昧です。たとえば、これまで [@fig:fig-dalmatian] を見たことがない場合、おそらくその中にダルメシアン犬を見つけることはできないでしょう。しかし、その手がかりを読んだので、ダルメシアンがどのように見えるかについてのトップダウンの意味論的な知識は、アトラクターのダイナミクスがシーンの一貫したビューに収束するのに役立ちます。

• パターンの完成 — 「昨日の夕食は何を食べましたか」と尋ねると、この部分的な入力キューは脳内 (おそらく海馬内) の適切な記憶表現を部分的に興奮させることができますが、この部分的な興奮が記憶回路を通じて反響し、完全な記憶トレースの欠落部分を埋めるには、双方向の興奮ダイナミクスが必要です。この反響プロセスは、ちょうど重力井戸の周りを周回するコインのようなものです。システムが正しい記憶トレースの周りを「周回」するにつれて、さまざまなニューロンが活性化および抑制され、最終的には完全な正しい記憶トレースに収束します（またはそうでない場合もあります）。場合によっては、いわゆる 舌先 状態では、取得しようとしている記憶が * 把握できず、システムがアトラクター状態に完全に収束できないことがあります。いやぁ、それはイライラするかもしれませんね！通常、最終的なアトラクターに到達するためにあらゆることを試みます。私たちは未解決の状態が長期間続くことを好みません。

エネルギーと調和

アトラクターの垂直軸 ([@fig:fig-attractor]) のようなものを捉える数学的な方法があります。重力井戸の物理用語では、これは位置エネルギーです。驚くことではないかもしれませんが、この尺度は エネルギー と呼ばれ、ジョン ホップフィールドという物理学者によって開発されました。彼は、重力井戸内でのコインの局所的な運動が全体の位置エネルギー [@Hopfield82; @Hopfield84] を減少させるのと同じように、ユニットの活性化状態の局所的な更新が最終的に全体的なエネルギーの尺度を減少させることを示しました。別の物理学者、ポール・スモレンスキーは、符号を反転した代替フレームワークを開発しました。このフレームワークでは、ユニットの活性化状態のローカルな更新によって グローバルな調和が増加 [@Smolensky86] されます。それはいいですね。数学的な詳細については、エネルギーと調和に関する付録の章を参照してください。実際にはモデルを実行するためにこれらの方程式は必要ありません。また、方程式が伝えることの基本的な直感はアトラクターの概念によって捉えられるため、このメイン章ではこのアイデアについてこれ以上時間を費やすことはありません。

探検

CCNシムズ (パート II) の 顔 を開いて、トップダウン処理とボトムアップ処理がどのように相互作用して画像を生成し、曖昧な入力 (部分的に遮られた顔) を解決するかを調べてください。双方向計算をさらに詳しく説明するには、次の追加のシミュレーションを開いてください。

• cats-and-dogs — 単純なセマンティック ネットワークにおけるアトラクター ダイナミクスの楽しい例。

• necker-cube– アトラクター ダイナミクスのもう 1 つの楽しい例。ノイズと神経疲労の重要な役割も示しています。

禁止的な競争と活動の規制

抑制的な競争は、私たちが一度にいくつかのことに集中できるようにする上で重要な役割を果たし、それにより過負荷になることなく効果的に処理できるようになります。また、抑制により、活性化される検出器が、特定の入力によって最も興奮する検出器であることが保証されます。ダーウィンの進化論の用語では、これらは「最も適した」検出器となります。

抑制がなければ、皮質の双方向の興奮性接続により、活性化の広がりを阻止するものが何もないため、すぐにすべてのニューロンが高度に興奮することになります。ニューロン間には非常に多くの興奮性の結合があるため、すべてのニューロンが活性化されるまでに時間はかかりません。わかりやすい例としては、スピーカーの近くにマイクを置き、そのマイクからサウンドを再生することです。これは双方向の興奮システムであり、すぐにおなじみの非常に大きな「フィードバック」キーキー音が発生します。もしオーディオシステムが大脳皮質の抑制系と同等の機能を持っていれば、マイクの入力ゲインやスピーカーの出力ボリュームを動的に下げることで、実際にこのフィードバックを防ぐことができるでしょう。

もう 1 つの役立つ例えは、エアコン (AC) です。エアコン (AC) には、いつ作動するか (場合によってはその強さ) を決定するサーモスタット制御が備わっています。この種のフィードバック制御 システムにより、暑さ対策を開始する前に、部屋を特定の設定値 (例: 75 °F) まで暖めることができます。同様に、皮質における抑制は興奮の量に比例し、同様の設定値の動作を生成し、活動が高くなりすぎないようにします。通常、一度に活動するのは、特定の領域のニューロンのおよそ 15 ～ 25% だけです。

しかし、阻害の重要性は、この基本的な調節機能をはるかに超えています。抑制は競争を引き起こします。最も強く興奮したニューロンだけが、抑制性フィードバック信号を克服して活性化し、他のニューロンに活動電位を送ることができます。この競争力学は、処理と学習において多くの利点をもたらします。たとえば、選択的注意は阻害性競合に決定的に依存しています。視覚領域では、混雑した場面で刺激を探すとき（たとえば、冒頭で説明したように群衆の中で友人を探すとき）、選択的注意が明らかです。群衆の中のすべての人々を一度に処理することはできないため、比較的少数の人だけが注意を引き、残りは無視されます。神経用語で言うと、参加した少数の検出器は、高レベルの抑制のために発火閾値を下回ったままである他のすべての検出器を打ち負かすのに十分に興奮していたと言えます。ボトムアップ要因とトップダウン要因の両方が、どの神経検出器がしきい値を超えるかどうかに寄与する可能性がありますが、抑制がなければ、最初から焦点を当てるために少数の神経検出器だけを選択する機能は存在しません。興味深いことに、頭頂葉皮質（この種の空間的注意において重要な役割を果たす）に両側性の損傷があるバリント症候群の人は、注意力の低下を示し、また視覚表示に複数の項目が含まれている場合には通常何も処理できなくなります（すなわち、「同時失認」、つまり、シーン内に複数の物体が同時に存在する場合に物体を認識できないこと）。これらの現象については、知覚の章で詳しく説明します。

学習の章では、抑制的競争がこの 選択圧力 を提供することで学習を促進し、それによって最も興奮した検出器のみが活性化され、その後学習プロセスを通じて強化され、最も活性な検出器が現在の入力に対してさらに適切に調整され、将来再びそれらに反応する可能性が高くなります。学習エピソードにわたるこの種の正のフィードバック ループは、環境内で発生する傾向のある種類の事柄に対する非常に優れた検出器の開発につながります。抑制性の競合がなければ、大部分のニューロンが入力ごとに訓練され、環境内の特定のカテゴリーに対する検出器の専門化は存在しないでしょう。すべてのニューロンは最終的にすべてを弱く検出してしまい、何も達成できません。このように、競争と制限が実際には非常に有益であることが再びわかります。

抑制性競合の存在下で発達する神経活動パターンの種類を要約した用語は、疎分散表現です。これらのニューロンは、一度にアクティブになるニューロンが比較的少数 (15 ～ 25%) であるため、これらのニューロンは、完全に分散された表現での場合よりも現在の入力に対してより高度に調整され、全体的なアクティビティのレベルがはるかに高くなります。したがって、技術的には、抑制は分類などの基本的な情報処理機能には直接寄与しませんが、抑制の接続性は特定の皮質領域内で厳密に局所的なものであるため、抑制は各レベルでの神経活動パターンの形成において重要な「間接的」な役割を果たします。

フィードフォワードとフィードバックの抑制

皮質の抑制性介在ニューロンを駆動する神経接続には、フィードフォワード と フィードバック ([@fig:fig-inhib-types]) という 2 つの異なるパターンがあります。興味深いことに、これらは興奮性ニューロン間の接続と同じではありません。機能的には、フィードフォワード抑制は興奮性ニューロンがどの程度興奮するかを「予測」できますが、フィードバックは興奮性ニューロンが達成する実際の活性化レベルを正確に反映します。

フィードバック抑制が最も直感的であるため、それから始めます。ここで、抑制性介在ニューロンは、同じ興奮性ニューロンによって駆動され、その後、抑制性介在ニューロンに戻って投影され、抑制されます。これは、AC の例からの古典的な「フィードバック」回路です。一連の興奮性ニューロンが活動し始めると、この活性化が抑制性介在ニューロンに伝達されます（抑制性介在ニューロンへの 興奮性グルタミン酸作動性 シナプスを介して - 抑制性ニューロンは他のニューロンと同じように興奮しなければなりません）。抑制性ニューロンのこの興奮により、活動電位が発火し、興奮性ニューロンに直接戻ってきて、GABA 放出を介して抑制性ニューロンのチャネルが開きます。これらの興奮性ニューロンの抑制性入力チャネルからの $Cl^-$ (塩化物) イオンの流入は、興奮性ニューロンを抑制性駆動電位の方向に押し戻すように作用します (綱引きのたとえでは、抑制性ニューロンが大きくなり、より強く引っ張られます)。したがって、励起は抑制を引き起こし、それが励起を打ち消し、AC ユニットからの冷気の噴出のように、すべてを制御下に保ちます。

フィードフォワード抑制はおそらくもう少し微妙です。これは、特定の領域の興奮性ニューロンへの興奮性シナプス入力がその領域の抑制性介在ニューロンも駆動し、介在ニューロンが現在受け取っている興奮性入力の量に比例して興奮性ニューロンを抑制するときに動作します。これは、たとえば、外気温に基づいてエアコンをオンにすることによって、予想される熱量に反応するサーモスタットのようなものです。したがって、フィードフォワードとフィードバック抑制の主な違いは、フィードフォワードは正味の興奮性入力を反映するのに対し、フィードバックは特定の興奮性ニューロンのセットの実際の活性化出力を反映することです。

この調査でわかるように、フィードフォワード抑制の予期機能は、純粋なフィードバック駆動型システムで発生する可能性のある劇的なフィードバック振動の種類を制限するために重要です。ただし、フィードフォワード抑制が多すぎるとシステムの応答が非常に遅くなるため、2 つのタイプの最適なバランスが保たれ、非常に堅牢な抑制ダイナミクスが得られます。 さらに、前の章で見たように、抑制と興奮が綱引きのダイナミクスを通じて相互作用する方法は、これらの抑制のダイナミクスを堅牢なものにするために 不可欠 です。 たとえば、膜電位が上昇し始めると初めて抵抗し始める抑制の分流特性により、ニューロンはある程度の活動レベルを得て、その後引き戻されます。別の形態の抑制（たとえば、単純に興奮から引き離す）では、活性化が完全に妨げられるか、興奮を制御するのに十分な抑制が生成されない可能性があります。

抑制性介在ニューロンの動態の探求

• CCNシムズ の inhib シミュレーションを参照してください — このシミュレーションは、フィードフォワードおよびフィードバックの抑制ダイナミクスが、双方向の興奮が存在する場合でも、興奮性錐体ニューロンの堅牢な制御にどのようにつながるかを示しています。

FFFB抑制機能

以下に示す簡単な方程式で、平均興奮性入力 $g_e$ と特定の層の活動レベルを使用することで、実際に抑制性介在ニューロンを必要とせずに、フィードフォワード (FF) およびフィードバック (FB) 形式の抑制を効率的に実装できます。これは、学習中にその後のパラメータ適応を必要とせず、驚くほどうまく機能し、この FFFB 形式の抑制が、教科書 [@OReillyMunakata00] の第 1 版で使用されている k-Winners-Take-All (kWTA) 形式の抑制に置き換わりました。

層 (または、抑制がそのレベルで動作している場合は層内のユニットのプール) への平均興奮性コンダクタンス (正味入力) は、層/プール内の $i$ によってインデックス付けされた各ユニットの $g_e$ の平均にすぎません。 \(\langle g_e \rangle = \sum_n \frac{1}{n} ge_i\) 同様に、平均アクティベーションは、アクティベーション値 ($y_i$) の単なる平均です。 \(\langle y \rangle = \sum_n \frac{1}{n} y_i\)

これら 2 つの平均のそれぞれに適用されるいくつかの重要なパラメータを使用して、層/プール内のすべてのユニットに均一に適用される全体的な抑制性コンダクタンスを計算します。フィードバック コンポーネントは振動を引き起こす傾向があるため (平均活性化に対して過剰反応と過小反応が交互に起こる)、その項に単純な時間積分ダイナミクスを適用します。フィードフォワードにはこの時間積分は必要ありませんが、以前の kWTA 方程式によって生成された実際の抑制を当てはめることによって決定されたオフセット項が必要です。したがって、全体の抑制性コンダクタンスは、興奮性コンダクタンスに対抗して綱引きの抑制を引き起こすことになりますが、全体の抑制性利得定数係数 Gi を伴う 2 つの項 (ff と fb) の合計になります。 \(g_i(t) = \mbox{Gi} \left[ \mbox{ff}(t) + \mbox{fb}(t) \right]\)

この Gi 係数は、通常、レイヤー全体のアクティビティ レベルを決定するために操作される唯一のパラメータです。デフォルト値は 1.8 です。値を高くすると、アクティビティのレベルがまばらになります。非常にまばらなレイヤー (単一の出力ユニットがアクティブな場合など) の場合は、最大約 3.5 の値を使用できます。

フィードフォワード (ff) 項は次のとおりです。 \(\mbox{ff}(t) = \mbox{FF} \left[ \langle g_e \rangle - \mbox{FF0} \right]_+\) ここで、FF はフィードフォワード コンポーネントの定数ゲイン係数 (デフォルトで 1.0 に設定)、FF0 は定数オフセット (デフォルトで 0.1 に設定) です。

フィードバック (FB) 用語は次のとおりです。 \(\mbox{fb}(t) = \mbox{fb}(t-1) + dt \left[ \mbox{FB} \langle y \rangle - \mbox{fb}(t-1) \right]\) ここで、FB はフィードバック コンポーネントの全体的なゲイン係数 (デフォルトは 0.5)、dt はフィードバック抑制を統合するための時定数 (デフォルトは 0.7)、t-1 はフィードバック抑制の以前の値を示します。— この式は、以前に存在したものに新しい抑制係数を段階的に組み込むことを指定しており、0.7 という比較的高速な dt 値により、新しい値を正確に追跡します。すぐに — 発振を解消するのに十分な遅延があります。

全体として、この FFFB 抑制は計算が非常に簡単で (以前の kWTA 計算よりもはるかに単純)、ユニットの興奮性駆動に対してはるかに「比例」した方法で動作することが明らかです。全体的な興奮性入力が高い場合、層内の全体的な平均活性化は高くなり、その逆も同様です。以前の kWTA ベースの計算はより厳格になる傾向があり、より強力な設定値のような動作が課されました。 FFFB ダイナミクスは、抑制性介在ニューロンが実際に機能する方法とより密接に結びついており、生物学的により正確なシミュレーションを提供するはずです。

FFFB阻害の探索

FFFB 抑制の動作を確認するには、CCNシムズ にある inhib シミュレーションの最後の部分の指示に従ってください。

＃＃ 付録

ここでは、次のオプションの追加トピックについて説明します。

• カテゴリーの哲学: 精神的なカテゴリーの真理値に関する哲学的問題。

• エネルギーと調和: ホップフィールド エネルギーまたはスモレンスキーの調和に関するアトラクター ダイナミクスの数学。

カテゴリの哲学

このセクションでは、精神的カテゴリーに関連する哲学的問題と、それらに明らかな「真実」の価値が明らかに欠如していること、そしてこれがどのような意味を持つのかをもう少し詳しく掘り下げます。

重要な免責事項: これはおそらくさまざまな人々にとって興味深いトピックであり、確かに哲学文献でこのトピックについて多くのことが書かれています。 ただし、現時点では、ここで示されている見解は、筆頭著者とおそらく他の数名の共著者のものです。

• 本章で述べたように、精神的なカテゴリーは学習や言語などを介した社会的相互作用によって形成されるようであり、安定した内部カテゴリー表現を形成する能力を駆り立てるある種の基礎的な規則性がある可能性が高いようですが、実際には、それらはいかなる堅実な「現実」にも「根拠」を持っていません。

• これは、人間の認知に関する多くの事実と一致します。認知は非常に誤りやすい、人々は常にあらゆる種類の完全に間違ったことを信じています (そして、これらの信念を非常に大切にしていることがよくあります…) など。

• しかし、この見解を受け入れるのは、いささか不安です。なぜなら、それは完全な「文化的相対主義」陣営に一マス入れてしまうようなものであり、意味のある「普遍的真実」をもつことは決して期待できないからです。 これは客観主義者にとっては吐き気を催すものであり、一般に「世界の本当の性質」を発見しようとする科学者にとっては好ましくありません。

• ただし、この問題には非常に優れた解決策があります。ただし、それは決して「絶対」ではなく、確かに多くの時間と忍耐 (そして個人間の協力) が必要です。 それは科学の基盤でもあります。 この解決策は、個人間で共有できる*再現可能な経験に基づいて、これまで以上に広範な自己一貫性のある**一連の精神カテゴリーを開発することです。 要するに、あなたが偶然に開発した特定の精神的カテゴリーは間違っている可能性が高いですが、あなたと他の人々のグループが、時間の経過とともにそのようなカテゴリーのセット全体にわたって自己一貫性のある非常に信頼できる基本的な経験のセットとそれらを分類する方法について全員が同意できる場合、それらは「真実」である可能性が非常に高いように思えます。

• 科学用語では、「経験」とは、さまざまな研究室で再現できる 実験 です。 そして精神的なカテゴリーは科学理論であり、これらは特定の一連の実験だけでなく、相互に、そして他のそのような理論をサポートする他のすべての実験とも一貫していなければなりません。

• 現時点では、物理学における「標準モデル」や化学、生物学、分子遺伝学など、自然界の多くの現象を包含する科学における集合的な理解が存在します。人間の認知や神経科学などのより高度なより複雑な現象には、さらに多くの未解決の問題がありますが、進歩は進んでおり、人々はおそらく、多くの重要な事柄が強力な全体的コンセンサスを持っていることに驚くでしょう。 しかし、もちろん、このすべてを知っている人は一人もいません。 しかし、とにかく、それは知るために存在しており、私たちがこれから得ようとしている真実に最も近いものを構成しているようです。

• 短い答え: 真実を見つけたいなら、科学者になりなさい! そうでない場合は、ただでっち上げただけで満足してください。 脳はこの分野に非常に優れており、あなたにうまく役立つかもしれません。科学者になりたくない場合は、自分のさまざまな心のカテゴリー (信念) について考えて、どのカテゴリーが互いに一致しているように見え、どのカテゴリーが一致していないかを確認してみることもできます。 次に、現実世界での実際の物理的経験に最も一致する方法で、矛盾を解決してみます。 そうすることで、おそらくあなたの心のカテゴリーの質が向上し、ある種の根底にある真実にさらに近づくことになるでしょう。

エネルギーと調和

このセクションでは、[@Hopfield82; @Hopfield84] エネルギー方程式とスモレンスキー ハーモニー方程式、およびそれらがアトラクター状態に落ち着く際にネットワークが何を行っているかをより正式に理解するのにどのように役立つかについて説明します。

ホップフィールドのエネルギー方程式は次のとおりです。 \(E = - \frac{1}{2} \sum_j \sum_i x_i w_{ij} y_j\) ここで、x と y はそれぞれ送信ユニットと受信ユニットのアクティブ化 (i と j でインデックス付け) を表し、w はそれらの間の重みです。

ハーモニーは文字通り、マイナス記号を除いたものと同じです。 \(H = \frac{1}{2} \sum_j \sum_i x_i w_{ij} y_j\)

送信ユニットと受信ユニットの各ペアについて、これらのユニット $x_i$ および $y_j$ のアクティブ化がこれら 2 つのユニット間の重みと一致する範囲までハーモニーが最大化されていることがわかります。重みが大きく正の場合、これら 2 つのユニットが両方とも同時にアクティブであれば調和するようにネットワークが構成されます。重みが負の場合 (抑制性投影の単純なバージョン)、それらのユニットは、反対の符号 (一方がアクティブで他方が非アクティブ) を持つ場合にのみ、より大きな調和に貢献します。

これらの方程式の重要な特徴は、ローカルな更新がエネルギーまたはハーモニーに対する信頼性の高いグローバルな効果を推進することです(エネルギーの減少またはハーモニーの増加)。 これを確認するには、微積分の数学を使用して、受信ユニットの起動の変化に関するグローバル方程式の導関数を取得します。 \(\frac{\partial H}{ \partial y_j} = \sum_i x_i w_{ij}\)

微分値を取得すると、微分値がゼロのときに発生する関数の最大値を見つけることができます。したがって、これにより、ハーモニーを最大化するために入力と重みの関数として $y_j$ をどのように変更 (更新) するかを決定するための規範的な公式が得られます。 この方程式は、基本的に ニューロン 章のニューロンへの正味興奮性コンダクタンスまたは 正味入力 として認識されるかもしれません。これは、線形 活性化関数 (活性化 y = 直接正味入力) を使用してユニットを更新すると、調和が最大化されるかエネルギーが最小化されることを意味します。 非線形活性化関数 (たとえば、XX1 関数と同じ一般的な形状の「シグモイド」関数) に対応するには、本質的に正味入力の高い値または低い値に対する神経活性化関数の飽和を引き起こす追加の「ペナルティ」項 (ホップフィールド フレームワークでは エントロピー、スモレンスキー フレームワークでは ストレス と呼ばれる) を導入する必要があります。