compcogneuro/web: optimized-representations

+++ Categories = [“Computation”, “Activation”] bibfile = “ccnlab.json” +++ 最適化された表現 の使用は、システムが入力を処理し、認知と行動を駆動するための基礎として [[constraint satisfaction]] および/または [[error backpropagation#backpropagation to activations]] に基づいて動的に更新される新しい [[representation]] を計算することを意味します。 [[Axon]] で [[bidirectional connectivity]] を使用すると、最適化された表現が自動的に生成されます。[[GeneRec]] 解析では、アクティビティ状態がニューロンの活性化状態の「誤差勾配」を自動的に計算することが示されています。

標準 [[abstract neural network]] の標準単一反復フィードフォワード パスなど、トライアルごとの処理のはるかに高速なモードを使用して学習のトライアル数を最適化するのと、各トライアルでこれらの最適化された表現を生成するために費やされる計算にはトレードオフがあります。 [[Axon]] モデルで採用されている生物学的に現実的なアプローチ (双方向接続を使用して [[error-driven learning]] を実行する) を考慮すると、これらのモデルは、試行ごとに少なくとも約 200 回の反復相当の制約充足処理に効果的にコミットされます。

したがって、ここでの中心的な疑問は、この方法で最適化された表現を使用することに大きな機能的利点があるかどうかということです。哺乳類の脳も同様にこのタイプの処理に取り組んでいることを考えると、これが可能性が高いと結論付けるのは合理的ですが、この疑問にもっと明確に答えるにはさらなる研究が必要です。

最適化された表現を使用する潜在的な利点についてのさらなる動機は、普遍的な計算プロセスとしての [[search]] と、高次元の表現空間を効率的に検索して現在の状況をエンコードする特に有用な方法を見つけるための、専用並列、勾配ベースの制約満足処理の機能に関する議論で提供されます。そうすることによる潜在的な計算上の利点のいくつかは、[[reinforcement learning#model-based]] 強化学習の議論で列挙されています。これには、外部および内部の制約を満たす計画および目標表現のアクティブ化、およびこれらの目標の追求を最適化するための下位レベルの知覚および運動処理の形成が含まれます。

この文脈では、任意の時点での意思決定と行動の評価に費やされる時間と労力という点で、より広範な連続性があり、それは「習慣的な」処理と「制御された」処理の間のスペクトルの観点から特徴付けることができます。したがって、任意の所定の表現セットは、たとえば相対的な重要性や関連するリスクに応じて、多かれ少なかれ最適化の対象となる可能性があります。

最近のバージョンの [[large language models]] (LLM) は、生成される出力の最初のフィードフォワード パスだけを実行するのではなく、この「推論」処理をさらに実行するように最適化されています。これは一般に、より複雑で困難な問題をより「インテリジェントに」効果的に処理することを可能にし、最適化された表現を使用することへの全体的なバイアスが一般的に有益であるという考えと一致します。 「コンテキスト内」学習が LLM 内で動作して勾配に最適化された表現を生成する方法の一貫した分析については、[[@OswaldNiklassonRandazzoEtAl23]] を参照してください。

人間の主観的な経験の観点から、[[conscious awareness]] のほとんどの理論は、意識処理の現在焦点となっている複数の脳領域を統合し調整するための双方向 (反復的) ダイナミクスの重要性を強調しています。したがって、私たちの主観的な意識経験は、さまざまなトピックについて考えるのに費やされる時間と労力の量が変化しながら、継続的に自動的に実行されるこの最適化された表現処理を反映している可能性があります。