compcogneuro/web: distributed representations

+++ Categories = [“Activation”, “Computation”, “Cognition”, “Neuroscience”] bibfile = “ccnlab.json” +++ 分散表現 は、単純に多数の個別の [[neuron detector]] の母集団であり、それぞれが異なるものを検出しています。この検出器集団全体にわたる出力アクティビティ (「検出アラーム」) の集合パターンは、現時点で最も関連性の高い特定の個別の機能を決定することなく、豊富な情報を「並列」でエンコードできます。

個々のニューロンは常に他の多くのニューロン (たとえば、[[neocortex]] では約 10,000) からの入力を統合しているため、他のニューロンがどのように反応するかを決定するのは、多くのニューロンに分散された集団アクティビティです。このより大きな「民主的」システムでは、個々のニューロンは 1 つの「投票」のみを提供します。したがって、特定の地域で何が起こっているのかを実際に理解するには、個々の神経反応だけでなく集団レベルの活動パターンを理解することが不可欠です。

計算レベルでは、分散表現は、[[search]] の普遍的な計算プロセスにおける [[curse of dimensionality]] に対抗するための全体的な戦略の重要な部分です。分散表現が変化する可能性がある追加の次元とその計算上の影響については、[[combinatorial vs conjunctive]] 表現の説明も参照してください。

行動に関連する情報を表現するためのより抽象的かつ効率的な方法を提供する [[categorization]] のコンテキストでは、分散表現は精神カテゴリーの不定形性を捉えることができます。これは、精神カテゴリーに含まれるのは単一の離散的な要素だけではないためです。多くの要因があり、それぞれが役割を果たします。

言い換えれば、分類は非常に 多態性 であり、任意の入力を同時に多くの異なる方法で分類できます。特定のものに対して適切なレベルの分類などというものはありません。椅子は、家具、芸術品、ゴミ箱、薪、ドアストッパー、プラスチックなど、その他にもさまざまなものになる可能性があります。

椅子には座面があり、場合によっては背もたれがあり、通常は椅子のような形状をしていますが、その形状は非常に多様で奇妙な場合もあります。多くの場合、木材、プラスチック、金属で作られていますが、ボール紙やガラスで作られることもあります。これらのさまざまな要素はすべて、これらおよび他の多くの特徴（たとえば、問題のオブジェクトに関係する周囲のコンテキスト、アクションおよびアクティビティの履歴を含む）をコード化するために発火する分散したニューロン集団全体によって捕捉できます。

カテゴリの多様な性質についても同様です。あるニューロンのセットは椅子の椅子のような側面を検出している可能性があり、他のニューロンはそれが表す可能性のあるすべてのさまざまなもの（素材、より広範なカテゴリ、外観、スタイルなど）に基づいて活性化している可能性があります。椅子入力のこれらの異なる意味はすべて同時にアクティブになる可能性があり、これは、これらすべての異なるカテゴリを同時に検出するニューロンによる分散表現によってよく捕捉されます。

[[neocortex]] に存在する特定の種類の分散表現は「まばら」であり、一度にアクティブなニューロンの約 15% が含まれます。このタイプの表現には、一度に多くのニューロンがアクティブになる「高密度」分散表現 ([[@SimoncelliOlshausen01]]、[[@OlshausenField96]]、[[@Barlow61]]) よりも多くの利点があります。抑制性介在ニューロンを介した [[Inhibition]] は、これらのスパース表現を作成するために重要です。

{id=”figure_dist-graded” style=”高さ:20em”}

{id=”figure_maps” style=”高さ:30em”}

{id=”figure_topo” style=”高さ:30em”}

分散表現に関する実際のデータの一部を上の図に示します (よくわからない場合は、[[experimental-methods#peristimulus time histogram (PSTH)]] でプロットを説明します)。 [[#figure_dist-graded]] は、個々のニューロンが、それらを活性化する最適なものと比較した入力に対する 類似性の関数として 段階的 に反応することを示しています。これと同じ特性が [[detector simulation]] でも見られました。特に、複数の刺激に対する発火を可能にするためにリーク コンダクタンスが低減された場合に顕著です。

[[#figure_maps]] は、サルの下側頭 (IT) 皮質における形状表現のトポロジーの全体的な概要マップを示しています。各領域には、それを活性化する特定の最適な刺激があり、隣接する領域には、類似しているが異なる最適な刺激があります。したがって、任意の所定の形状入力は、異なる検出器をアクティブにするのに十分な類似の特徴を備えている限り、これらの領域すべてにわたる分散パターンとしてエンコードされます。 [[#figure_topo]] に示されているように、さまざまな刺激のより連続的な変換が存在する場合もあります。

{id=”figure_haxbyetal01”}

分散表現のもう 1 つの実証は、[[@^HaxbyGobbiniFureyEtAl01]] による、さまざまな視覚刺激を観察しながら人間の脳の機能的磁気共鳴画像法 (fMRI) を使用した画期的な研究から得られました ([[#figure_haxbyetal01]])。彼らは、視覚システムが厳密なモジュール方式で組織され、顔と他の視覚カテゴリーの領域が完全に異なるという従来の主張に反して、実際には、これらの異なる視覚入力に対する視覚システムの広い領域にわたる活性化に高レベルの重複が存在することを示しました。彼らは、これらの分散された活動パターンに基づいて、fMRI 装置内の人物がどの物体を見ているかを高レベルの精度で識別できることを示しました。

重要なのは、そのオブジェクトに対して最大の応答を示す領域を除外しても、この精度レベルが大幅に低下することはありません。これまでの「モジュール主義」研究では、これらの最大限に反応する領域の存在のみが報告されていました。しかし、サルのデータからわかるように、ニューロンは、刺激が最大限に活性化する入力に完全に適合していなくても、段階的に反応します。これらの段階的な反応は、入力刺激の性質について多くの情報を伝えることを示しました。

大まかなコーディング

{id=”figure_coarse-coding”}

[[#figure_coarse-coding]] は、コース コーディング として知られる分散表現の重要な特定のケースを示しています。これは実際には上で説明したものと変わりませんが、目がどのように 3 つの光受容体だけを使用して光の可視スペクトル全体を捉えるかという特定の例は、分散表現の力を示す特に良い例です。光の個々の周波数は、さまざまな検出器にわたる段階的なアクティビティの「相対バランス」という観点から一意にエンコードされます。

たとえば、赤と緑の間の色 (例: 黄色の特定の色合い) は、赤と緑のユニットの部分的なアクティビティとしてエンコードされ、赤と緑の相対的な強度によって、チャートリューズと比べてどれだけオレンジ色に見えるかが決まります。要約すると、比較的少数のニューロンを使用して情報を効率的にエンコードするには、粗いコーディングが非常に重要です。

高次元空間での粗いコーディング

粗いコーディングが光の周波数などの単一の線形次元ではなく高次元空間に適用されると、その結果、個々のニューロンが多くの異なる次元にわたって混合選択性のパターンを示すようになります([[@FusiMillerRigotti16]])。たとえば、視覚入力のコンテキストでは、特定のニューロンは、色、形状、陰影、曲率、深さ、動き (およびそのランダムなサブセット) のいくつかの側面に対して選択性を示す可能性があります。

混合選択性は、脳内のニューロン間の広範な相互接続の自然な結果であり、そのため、任意のニューロンは、関連する次元にある程度の応答を持つ他のニューロンから直接的および間接的な入力を受け取り、そのシナプスの重みを考慮すると、刺激がこれらの異なる次元にわたって変化するにつれて、いくぶん複雑で説明が難しい方法で応答する可能性があります。

この種の神経反応は [[abstract neural network]] モデルにもよく見られます。[[abstract neural network]] モデルは、ランダム化された初期重みから始まり、学習の過程で驚くべき量のこのランダム性を保持します。

たとえば、一次視覚野のニューロンは、エッジの向きなどの比較的単純な視覚入力の次元に強い反応を示すことが知られていますが、それでも、この領域では他のほぼすべての行動に関連する要素に反応するニューロンを見つけることができます。

このことから得られる重要な教訓は次のとおりです。

個々のニューロンの応答特性に基づく機能分析は、大いに疑う必要があります。

むしろ、分散表現の観点からの心に響くメッセージは、冒頭で強調したように、特定の領域内の多くのニューロンにわたる応答を考慮した「集団レベル」の分析だけが、その領域が実際に何を表しているのかを正確に把握できるということです。たとえば、表現類似性分析 (RSA) は、さまざまな種類の入力に対する神経活動の全体的なパターンがどの程度類似しているかを比較するための有用なフレームワークを提供します ([[@KriegeskorteMurBandettini08]])。

興味深いことに、decoder モデルを使用してニューラル集団の活動を分析する場合、実際には、個々のニューロンの分析と同様に多くの懸念事項が生じます。これは、特定の領域内のニューラル応答の多様性により、特定の領域内のニューラルコーディングの全体的な類似構造がそのパターンと強く一致していない場合でも、特定のパターンを検出するように訓練されたデコーダーが偶然以上のパフォーマンスを発揮できるためです。

ローカリストの表現

分散表現の反対は ローカリスト 表現です。この表現では、単一のニューロンがアクティブになって、特定のカテゴリの情報をエンコードします。私たちはローカリスト表現が実際の脳の特徴であるとは考えていませんが、それでも、計算モデル、特にネットワークに提示する入出力パターンに使用すると便利なことがよくあります。異なる入力間の類似性を現実的に捕捉するための適切な分散アクティビティ パターンを構築することは多くの場合困難であるため、異なる入力タイプごとに単一の入力ニューロンがアクティブになるローカリスト入力パターン (「ワン ホット」エンコーディングとも呼ばれます) を使用し、そこからネットワークに独自の分散表現を開発させるだけです。

{id=”figure_halle-berry-neuron”}

[[#figure_halle-berry-neuron]] は、脳に電極を埋め込まれたてんかん患者から記録された、「ハル ベリー」ニューロンの有名な事例を示しています ([[@QuirogaReddyKreimanEtAl05]])。これは、祖母細胞 (1969 年にジェリー・レトビンによって作られた用語と思われる) として知られる、ローカリスト表現の極端な形式の証拠であると思われます。これは、あらゆる種類の入力に基づいて祖母にのみ反応し、他の人や物には反応しない、非常に具体的でありながら抽象的なニューロンを意味します。人々は長い間、そのような祖母細胞の概念を嘲笑していました。

このようなニューロンの証拠は興味深いものですが（ビル クリントンやジェニファー アニストンの他のニューロンも含めて）、皮質の大部分のニューロンがどのように反応するかについての基本的な理解をほとんど変えることはありません。明らかに、ハル ベリーの画像が表示されると、皮質のすべてのレベルにある膨大な数のニューロンが反応するため、全体的な表現は依然として高度に分散されています。しかし、そのような入力を分類するさまざまな方法の中に、高度に選択的な「祖母」ニューロンがいくつか存在するようです。もう 1 つの未解決の疑問は、これらのニューロンが実際に他の入力に対して段階的な応答をどの程度示すかということです。図にはこれがある程度示されていますが、これをより広範にテストするにはさらに多くのデータが必要です。