compcogneuro/web: bias-variance-tradeoff

+++ Categories = [“Computation”, “Learning”] bibfile = “ccnlab.json” +++ バイアスと分散のトレードオフは、「フリーランチなし」原則としても知られ、統計学者 [[@^GemanGeman84]] および [[@^VapnikChervonenkis71]] などによって明確にされました。これは、新しい入力に対して [[generalization]] を示すために、さまざまなタイプの学習システムがどれだけのデータを必要とするか、また、ハードワイヤードの「バイアス」 (例: [[evolution]] 形状の神経特性から) によってシステムがどのようにして少ないデータから学習できるようになるか (コストなしではありません) についての重要な理解を提供します。

これらのバイアスが、学習システムがトレーニングされる実際の世界に適切であれば、明らかに有益です。たとえば、栄養価の高い食品、さらにそれらの食品が自然環境でどのように見えるかを好むバイアスを組み込むことで、生物はそのようなバイアスがない場合よりも生存しやすくなります。ただし、トレードオフの「フリーランチがない」という部分は、「普遍的に有益なバイアス」が存在しないということです。つまり、あなたが導入するすべてのバイアスは、一部の世界にとっては有益ですが、他の可能な世界にとっては有害です（たとえば、栄養価の高い食べ物が異なって見える場合、または実際には有毒である場合、あなたのランチは失われます…）。

トレードオフの variance の側面は、弱くバイアスされた学習システムの結果を捉える方法を提供します。弱いバイアスがある場合、固定量のトレーニング データが与えられた場合、これらのシステムが学習する内容には、それに応じてより大きな分散が生じます。この分散は、たとえば、新しいテスト データに直面したときのシステムの動作に現れます。弱いバイアスがかかったモデルの各インスタンスは、より強くバイアスがかかったモデルと比較して、非常に異なる方法 (つまり、高い分散) で動作します。モデルは、バイアスが少なく、基本的に常にそのバイアスに従って動作します。

このトレードオフの重要な意味の 1 つは、大量のデータをたまたま持っている場合、バイアスは不必要であり、邪魔になるだけである (フリーランチがない) ため、一般に弱いバイアスがかかった汎用学習システムを使用する方が良いということです。この「ビッグデータ」のマントラは、たとえばリッチ・サットンの 苦い教訓 で明確に表現されています。既存の [[abstract neural network]] (ANN) モデルは、人間がこれまでに書いた事実上すべてのもので訓練された [[large language models]] (LLM) のように、大量のデータを活用する方法を見つけることができれば、このビッグ データ アプローチが非常に強力であることを示しています。

ビッグ データ アプローチを機能させるための鍵は、データ空間全体で_専用並列_ [[search]] を効果的に実行する、勾配ベースの学習アルゴリズムを使用することです。以前のシンボリック [[artificial intelligence]] (AI) モデルはシリアル検索のみを実行でき、問題空間が大きくなるとすぐに [[curse of dimensionality]] に負けてしまいます。

興味深いことに、[[reinforcement learning]] (RL) の試行錯誤学習問題は、ビッグ データ アプローチに特有の課題を提示しています。これは、定義上、環境内で個々のエージェントが 1 つずつアクションを実行するため、問題空間全体にわたる連続検索プロセスが必要となるためです。 RL へのビッグ データ アプローチでは、並行して動作する多数の複製されたエージェントが使用されますが、各エージェントの必然的なシリアル検索プロセスの次元の呪いにより、最終的にはマルチエージェントの並列処理の容量が圧倒され、そのため、RL モデルのスケーリング特性は、LLM によって達成されるものを大幅に下回ったままになります。

これは、シリアル RL のような方法で学習し、自然界のかなりの複雑さに直面する必要がある現実世界の個々の生物にとって、重大な課題を表しています。

神経バイアス

ここで焦点を当てている生物学的領域では、バイアスと分散のトレードオフはどのように作用するのでしょうか?生物学的有機体は 1 つの世界、つまり彼らが生き残らなければならない実際の世界だけに関心があるので、それは無関係なのでしょうか?さらに、進化のプロセスは、この「現実世界」環境に特に適応するあらゆる種類のバイアスを構築するための準備ができたメカニズムを提供します。

実際、進化は、地球上の 35 億年ほどの生命期間にわたる、世界中の生物の世代によるすべての生死を賭けた闘争の形で、膨大な量のデータを操作する、汎用の「アウター ループ」適応 [[search]] メカニズムであると考えることができます。それぞれの個々の生物は、進化探索のこの外側のループの範囲内の短い内側のループにすぎません。

ほとんどの生物は出生後比較的早く自分で生きていく必要があるため、個々の生物の短い寿命の中で、データは比較的貴重なものです。実際、多くの種は、複雑な自然環境で移動する能力など、印象的な「早熟」な能力を持って卵や子宮から出てきます。種を超えて、「ネオテニー」 ([[@Montagu55]]; [[@Gould77]]) として知られる出生後の新生児学習期間の期間には幅があり、これによって個々の動物がその個体発生 (生涯) でどれだけ学習するかを効果的に決定します。

人間はネオテニーの最端に位置しており、他の種と比較すると、早成期の能力がばかばかしいほど欠如しています。私たちは子宮から出てきたとき、ほとんど何のスキルも持たずに生まれ、適切に排便をコントロールできるようになるまでに、およそ 2 ～ 3 年かかります。したがって、人間の場合は、汎用学習アプローチにより近いと思われます。それにもかかわらず、人々が数年以内に（排便コントロールを除いて）話すことやよちよち歩きを学ぶことを含めてできることをすべて、その期間にわたる実際の生活経験（データ）の量と比較して考えると、強力な汎用学習メカニズムとともに、事前に組み込まれた強いバイアスが存在している可能性が高いでしょう。

神経科学の観点から見ると、[[neocortex]] はより弱いバイアスの汎用学習システムと一致する特性を持っていますが、皮質下の脳ネットワークは進化によってより強く形成されています。たとえば、[[colliculus]] は多くの種の行動を形成する上で主要な役割を果たしており、広範な感覚運動結合性を持っています ([[@HoyFarrow25]])。同様に、[[basal ganglia]] を介した広範なネットワークは、学習された運動プログラムと本能的な運動プログラムを組み合わせた適応的な運動行動を駆動します。

皮質下ネットワークは人間の新皮質と相乗的に働き、強いバイアスと強力な汎用学習能力の両方を備えたシステムと一致して、私たちの行動と学習を形成します。つまり、バイアスと分散のトレードオフの観点から、両方の長所をとったものです。さらに、新皮質システムと皮質下システムの間には全体的な [[subsumption]] ダイナミクス ([[@Brooks86]]) があり、新皮質はより柔軟な学習された動作でこれらの下位レベルのシステムをオーバーライドできます。発達の軌跡は、皮質下制御から皮質制御へのこの移行を反映しています ([[@MortonJohnson91]])。

[[Rubicon]] フレームワークは、[[computational-cognitive-neuroscience#reverse engineering the brain]] の方法として、進化から得られる事前に組み込まれた強力なバイアスの性質に関する特定の仮説セットを提供します。[[genetic algorithm]] を直接使用する場合と比較すると、リバース エンジニアリング アプローチで合理的に到達できると仮定すると、効率が大幅に低下します。このフレームワークによると、これらのバイアスは、進化的に特定された基本的な動機と動機に従って目標主導の行動を推進しますが、そうすることで、適応的な行動と認知のための新しい計画と戦略を学ぶこともできるため、全体的なストーリーは自然（バイアス）と育成（データ）の間の複雑な相互作用になります。