compcogneuro/web: learning
このページは外部資料の日本語訳です。原文の見出し順と本文順を保ち、コード・URL・出典表記はできるだけ原形のまま残しています。
出典とライセンス
原典: https://github.com/compcogneuro/web/blob/main/content/learning.md
ライセンス: Text: CC BY 4.0; code: BSD 3-Clause。このページは日本語翻訳であり、変更点は翻訳とサイト内整形です。
学習は、シナプス接続の重みの変化の結果です。この基本的な仮説は [[abstract neural network]] モデルの基礎であり、[[neuron]] 間の主要な通信機構として化学シナプスが存在することから当然の帰結です。あなたが知っていること、覚えていることすべてが、ニューロン間のシナプス重みのパターンにエンコードされているというのは、なんと奇妙で興味深いことでしょう。
| より抽象的な [[levels of analysis | computational]] レベルでは、学習は、必要な計算の実行を可能にするすべての可能な表現の空間を通る [[search]] のプロセスです。この表現空間のサイズは、表現空間の複雑さが増加するにつれて (つまり、ニューロンとシナプスの数の関数として) 指数関数的な組み合わせ爆発により、[[curse of dimensionality]] の影響を受けます。したがって、学習プロセスは、専用並列、勾配ベースの方法で表現空間を検索できる方法で動作し、各学習ステップで多くの可能な変化の方向を同時に探索できることが重要です。 |
この一見魔法のように見える検索プロセスは、[[error-backpropagation]] などの確率的で勾配ベースの学習メカニズムから自然に発生します。このメカニズムは、シナプスの重みの変化に関連付けられた偏導関数を計算することにより、巨大な高次元空間を段階的に段階的に段階的に効果的に検索します。これらの段階的な重みの変更を繰り返し蓄積することにより、アルゴリズムは、数十億の重みパラメーターを持つ [[large language models]] (LLM) のような非常に高次元の表現空間でも効率的に検索パスを見つけます。
したがって、計算の観点から見ると、[[error-driven learning]] は現在、約 500 億個のニューロンと 500 兆個のシナプス接続を備えた人間の脳と同じくらい複雑で高次元のものを訓練するのに十分強力な唯一の既知のメカニズムとしてしっかりと確立されています。
しかし、神経科学の観点から見ると、[[synaptic plasticity]] の基本メカニズムは、[[Hebbian learning]] という観点から長い間理解されてきました。[[Hebbian learning]] は、任意の計算を実行するためにニューロンのネットワークを組織するための明確な計算基盤がない単純な連想学習原理です。代わりに、[[principal components analysis]] のバージョンのみを実行します。これは便利ですが、哺乳類の脳ができることすべてを説明するにはひどく不十分です。
幸いなことに、[[temporal derivative]] アルゴリズムによって示されるように、誤差逆伝播の中心となる誤差勾配を自然に計算する [[temporal derivative]] の原理を通じて、誤差逆伝播の計算上の命令と既知のシナプス可塑性メカニズムを調和させることが可能です。このアルゴリズムは、[[bidirectional connectivity]] を使用して時間導関数をネットワーク全体に伝達し、どこで発生したエラー信号でもどこでも学習を促進できるようにします。
生物学的には、時間微分は、時定数が異なる 2 つの化学プロセス間の競合を通じて計算できます。現在の [[synaptic plasticity]] 研究では、シナプス重みの変化の方向は、CaMKII キナーゼによって制御されるより速いプロセスと、DAPK1 キナーゼによって制御されるより遅いプロセスとの間の競合によって決定されることが示されています。この [[kinase algorithm]] メカニズムの最初の経験的裏付けは、げっ歯類標本におけるシナプス可塑性の電気生理学的測定において、[[Jang et al (2026)]] で報告されています。
| エラー駆動学習の時間微分形式は、結果が続く予測を表すネットワーク アクティビティ状態の経時的な差異として、[[predictive learning]] を当然サポートします。これは、エラー駆動学習を推進するために必要な環境的に有効なエラー信号のソースを提供し、これと同じ形式の予測学習が LLM を推進するものであるため、強力な [[cognition | cognitive]] 表現の形成を推進できることがわかっています。 |
要約すると、[[Axon]] で使用される [[kinase algorithm]] は、計算上強力な誤差逆伝播アルゴリズムの完全に生物学的、生態学的、認知的にもっともらしい形式であり、表現空間を通じて効率的な並列検索を実行して、大規模で複雑なニューラル ネットワークが任意のタスクを実行できるようにします。上記の点を簡潔にまとめた文書については、[[OReilly (2026) Cortical Learning]] を参照してください。
最後に、[[conscious awareness]] の現象は、この生物学的にもっともらしい形式のエラー駆動学習に必要な同じ双方向接続に依存すると広く信じられており、学習プロセスの性質についての洞察も提供します。具体的には、私たちの主観的な意識は、人間の脳であることが「どのように感じられるか」です。言い換えれば、脳の物理的特性から私たちが感じる主観的な経験への直接的なマッピングが存在します。
私たちが期待と一致しない結果に遭遇したとき、私たちは脳内の意識状態として、その結果に対応する主観的な経験をします。たとえば、「ああ、あなたは好きなイタリア料理として「スパゲッティ」ではなく「ピザ」と言うつもりだったんだ」などです。
ただし、標準の [[error-backpropagation]] アルゴリズムは、ネットワーク内のニューロン全体の活動状態として結果を表すことはありません。代わりに、結果は、ニューロンの活動状態とはまったく別に計算され伝播される、一種の「仮想」誤差勾配信号にすぎません。 [[@^Crick89]] や他の多くの人々が誤差逆伝播が生物学的にありえないと結論づけたのは、まさに誤差勾配のこの仮想的な性質です。
対照的に、誤差駆動学習の双方向接続の時間微分モデル (つまり、[[GeneRec]] アルゴリズム) によれば、まったく同じニューロンのセットが常にネットワーク内の「経験」の現在の状態を表し、時間の経過とともに期待に対応する状態 (例: 「ピザ」) から結果に対応する状態 (「スパゲッティ」) に遷移します。
時間微分メカニズムは、エラー駆動学習を促進するために、これら 2 つのアクティビティ状態間の差異を効果的に計算するだけです。したがって、このメカニズムは生物学的にはるかに理にかなっているだけでなく、ニューロンのネットワークとしての私たちの主観的経験の性質によりよく適合しているようです。