compcogneuro/web: basal-ganglia

+++ Categories = [“Rubicon”, “Neuroscience”] bibfile = “ccnlab.json” +++ 大脳基底核 (BG) は、[[anatomy|brain]] ([[#figure_bg-anatomy]]) の中心「コア」に位置する核の集合体で、[[neocortex]] の最高レベルの処理と脳幹 (中脳と後脳、脊髄まで続く) の運動制御ネットワークの間の機能的な橋渡しを形成します。 BG の主な出力はこれらの運動ネットワークに下向きにあり、視床への広範な接続を介して新皮質の前頭領域、主に [[prefrontal cortex]] に戻ります。 線条体はBGの入力核であり、解剖学的に尾状核と被殻から構成されており、新皮質や他の脳領域からの広範な投射を受け取ります。

[[Rubicon]] フレームワークによると、脳内のこの中心的な位置と接続性は、基本的な運動制御から目標主導の計画に至るまで、あらゆるレベルでの行動の制御において BG が果たす中心的な役割と一致しています。人形遣いからオーケストラの指揮者に至るまで、その役割をさまざまな比喩を使って説明します。この分野での中心的な疑問の 1 つは、BG が一種の勝者総取り (WTA) プロセスとして動作を選択する責任があるのか​​ (その結果、単一の個別の動作が選択される)、それとも下流の運動経路のより段階的で連続的な並列調整を提供し、最終的な動作の選択はこれらの下流領域で行われるのかということです。後者の役割 (つまり、遅い選択) は、強力な計算上の制約と、同時にさまざまな方向に引っ張られる多くの文字列の人形マスターのアナロジーと一致する、かなりの現存データによってサポートされています。

{id=”figure_bg-anatomy” style=”高さ:25em”}

{id=”figure_bg-rat-nhp” style=”高さ:25em”}

[[#figure_bg-rat-nhp]] および [[#figure_bg-anatomy]] の右パネルは、線条体のさまざまな領域がさまざまな前頭皮質領域とどのように相互接続しているかを示しており、[[Rubicon]] フレームワーク ([[@PauliOReillyYarkoniEtAl16]] および [[@HeilbronnerRodriguez-RomagueraQuirkEtAl16]] からのデータ) と一致する関連機能の解釈が示されています。これらの目標指向領域は線条体の腹側領域と内側領域に位置していますが、徐々に背側領域と外側領域（線条体全体の約 2/3 を占める）は、霊長類の運動皮質領域および背外側前頭前野とより強く相互接続されています。 BG のこれらのさまざまな部分は、共通の標準回路を共有していますが、相違点もあり、それらは同様に共通の全体的な機能を共有しているが、それぞれの異なる特殊な貢献に関連する相違点があるという考えと一致しています。

背外側BGが、対応する運動野（例えば、脚から離れた指など）と地形的に整列した詳細な運動制御信号をコード化していることを示す広範な証拠があり、最近の研究では、自由に行動するラットの複雑で自然な運動行動を解読することができた（[[@MarkowitzGillisBeronEtAl18]]; [[@KlausMartinsPaixaoEtAl17]]; [[@MengZhouPapaneriEtAl18]]; [[@YttriDudman16]]; [[@YttriDudman18]])。さらに、新皮質に完全な損傷を負った動物の研究では、BG がその下行性運動経路投影を通じて、著しく完全な細粒度の運動制御を駆動できることが実証されています ([[@GrillnerRobertsonKotaleski20]]; [[@ParkCoddingtonDudman20]]; [[@ArberCosta22]])。ヤツメウナギ (齧歯類や霊長類と本質的に同じ BG 構造を持つ; [[@GrillnerRobertson16]]) など、大脳皮質を持たないより古代の脊椎動物では、BG が学習と行動の主な原動力となっています。

神経レベルでは、線条体の SPN (棘状投射ニューロン、中型棘状ニューロン、MSN とも呼ばれる) は、脳内のどの領域よりも最も強力な [[dopamine]] 入力を受け取り、同様に、ドーパミンが放出された後、シナプスからドーパミンを迅速に除去する最大の能力を持っています。これにより、これらのニューロンは、[[reinforcement learning]] (RL; [[@MarkowitzGillisJayEtAl23]]; [[@HowardLiGeddesEtAl17]]; [[@NairGutierrez-ArenasErikssonEtAl15]]; [[@ShenFlajoletGreengardEtAl08]]; [[@Frank05]])。

したがって、背外側線条体は、脳の強化学習システム ([[@HoukAdamsBarto95]]; [[@Barto95]]) の actor コンポーネントの神経基板であると広く考えられています。ここでは、ドーパミン critic システムからの報酬予測誤差 (RPE) 信号が、全体的な報酬を増加させるために運動動作を改善するように BG アクターを訓練します (RL ページの [[reinforcement learning#figure_actor-critic]] を参照)。 RL ページで説明したように、RL における最も重要な計算上の課題は、大規模な運動動作レパートリーを持つ複雑な現実世界の環境で [[curse of dimensionality]] を回避するために、[[search]] の効率的な形式を見つけることです。 BG 回路の詳細な側面により、オンライン モーター制御と学習のための効率的な専用並列の勾配ベースのソリューションが提供されます。

新皮質がより多い動物、特に霊長類や人間では、BG は視床への広範な接続を通じて大脳皮質と密接に連携して行動を組織します。これらの視床投影は 2 つの機能を提供できます。1 つは非常に広範な方法で発生する皮質活動の直接調節 (ゲーティング と呼びます)、もう 1 つは [[Axon]] [[error-driven learning]] モデルで使用されている同じタイプの視床駆動の [[predictive learning]] 信号を介した皮質学習のより詳細なトレーニングです。

視床ゲーティングは、[[Rubicon]] フレームワークの中心的なメカニズムであり、前頭前皮質のさまざまな領域にわたる分散された目標表現のアクティブな維持をロックし、[[#figure_bg-rat-nhp]] に示されているより内側および腹側の領域によって駆動されます。

したがって、BG のこれら 2 つの役割により、BG は、基本的な運動制御と、より高度な目標主導型の計画およびより高度な認知の両方を理解するための最も中心的な脳構造の 1 つとなります。これらの重要な役割を果たすことを可能にする回路については、まず以下の基本的なモーター制御の場合で検討し、次にそのページで [[prefrontal cortex]] との関係の観点から詳しく説明します。

これらすべてのレベルにわたる BG の役割を理解するための包括的な方法の 1 つは、「双方向」および「変調」制御システムの観点からです。これは、これらの他の回路を通るアクティビティの流れを選択的に制御するために、出力ターゲットへの 2 つの「相手の経路」 ([[@CollinsFrank14]]) にわたる学習を使用して、出力ターゲットを「抑制」します。したがって、これは、全体的な報酬を最適化し、望ましい目標を達成するために、脳の糸を引っ張って脳に「正しいことをさせる」一種の「人形使い」です。

以下のセクションでは、背外側 BG によってサポートされる運動制御機能に主に焦点を当てて、BG の反対側の経路組織を検討します。次に、最近発見された新しい接続パターンを組み込んだ BG の新しいモデルについて説明します。この PCore モデルは、淡蒼球外球 (GPe) 内の 2 つの異なるタイプのニューロンと、GPe から線条体への投影が、意思決定プロセス中に経時的に情報を統合する能力をどのようにサポートしているかを示しています。これは、BG 関数の純粋なフィードフォワードの古典的なモデルでは不可能でした。次に、PCore モデルのコンテキストで、BG が何を行うかについての一貫した全体的な理解を提供するさまざまなデータを確認します。

最後に、BG 機能の全体像が整ったところで、学習の形成に重要な役割を果たす、背側線条体に [[#compartmental organization]] を持つ BG 回路の追加要素に目を向けます。これらには、線条体の 85% を構成し、以下の議論の主な焦点である matrix ニューロンの運動および皮質出力の代わりにドーパミン領域に投射する [[#striosomes]] と、数は少ないが残りの線条体ニューロンに対する神経調節的影響が大きい [[#CINs]] (コリン作動性介在ニューロン) が含まれます。

相手の経路: D1 vs D2 / Go vs No

{id=”figure_bg-rat” style=”高さ:25em”}

[[#figure_bg-rat]] は、齧歯動物の脳内の BG の解剖学的構造を示しており、線条体のニューロンのマトリックス集団から網状黒質 (SNr) および内淡蒼球 (GPi) (齧歯動物の内部足核 (EP) 核としても知られる) の出力領域までの 2 つの異なる経路を強調しています。これら 2 つの経路は、direct (線条体から SNr/GPi 出力に直接進む) と、出力に進む前に GPe で別の停止を行う indirect です。げっ歯類では、SNr はかなり大きく、運動野と相互接続されていますが、GPi には、後述するように [[#striosomes]] によって駆動される [[lateral habenula]] への投影もあります。ここでは、GPi の SNr 部分とモーター部分を機能的に同一のものとして扱います。また、後述するように、システムの腹側/内側部分に特有の [[#ventral pallidum]] を介した広範な出力経路もあります。

{id=”figure_bg-gating” style=”高さ:20em”}

BG の主要なニューロンはすべて抑制性であるため (主要なニューロンが興奮性である皮質とは異なり)、直接経路と間接経路は最終的に反対の効果をもたらすことになり、この事実が BG の機能に関する理論化の多くを推進しています。線条体の直接経路 SPN ニューロン (dSPN) は、SNr/GPi 出力を直接抑制します。SNr/GPi 出力は、そうでなければ強直に活動するため、出力ターゲットを継続的に抑制します。したがって、dSPN ダイレクト パスウェイは出力ターゲット上で net_disinhibitory_ となり、「Go」パスウェイとして機能します。つまり、青信号 ([[#figure_bg-gating]]) のように動作を続行できるようになります。このアナロジーは、脱抑制の寛容 (modulatory) 性質も捉えています。脱抑制は、それ自体で何かを強制するのではなく、存在する可能性のある「トラフィック」の進行を許可するだけです。

対照的に、間接経路にマイナス記号を追加すると、BG 出力ターゲットが正味「阻害」になり、行動の進行を妨げる傾向のある「いいえ」経路 (赤信号) になります。これらの効果は、経路内のマイナス記号の数を合計することによって計算できます。偶数の場合、正味の効果は正/脱抑制的であり (2 つの負が互いに打ち消し合います)、奇数の場合、正味の効果は負/抑制的です。

• 直接: dSPN -o SNr/GPi -o 視床 = 2 (偶数、興奮性)
• 間接的: iSPN -o GPe -o SNr/GPi -o 視床 = 3 (奇数、抑制性)

dSPN 対 iSPN ニューロンの相反する効果は、これらのニューロン サブタイプ ([[@ShenFlajoletGreengardEtAl08]]; [[@Frank05]]) で差次的に発現される D1 対 D2 ドーパミン受容体タイプを介した [[dopamine]] 神経調節の効果と一致します。 dSPN 上の D1 ドーパミン受容体は興奮性であり、ドーパミンのバーストで刺激されると LTP (長期増強; [[synaptic plasticity]]) を促進します。 iSPN 上の D2 受容体は抑制性であり、ドーパミンバーストによる LTD を促進します。さらに、逆のパターンがドーパミン ディップにも当てはまり、器具の調整に関するソーンダイクの「効果の法則」の両側を直接実装します。つまり、ドーパミン バーストをもたらすことをより多く行い、ドーパミン ディップをもたらすことは減らします。

アクションの選択

これら 2 つの BG 経路の単純な「Go」対「No」の論理は、パーキンソン病および関連する「緊張病」として知られる大脳基底核障害を患う人々の機能障害と一致します。これは、運動動作の「開始」における特定の問題として特徴付けることができます。これは 1990 年の映画「覚醒」で説得力をもって実証されており、患者 (ロバート・デ・ニーロ) は一度歩き始めると歩き続けることができましたが、そうでないと何時間も立ち往生する可能性がありました。この回路構成と開始欠陥の収束により、数人の著者は、BG の主な機能は「アクション選択」、つまり実行するアクション ([[@AlbinYoungPenney89]]; [[@ChevalierDeniau90]]; [[@AlexanderCrutcher90a]]; [[@Mink96]]; [[@RedgravePrescottGurney99]]; [[@GurneyPrescottRedgrave01]]; [[@FrankLoughryOReilly01]]; [[@Nambu04]];

一度選択が行われると、BG からのさらなる入力なしでアクションを続行できます。これは、パーキンソン病患者における選択的開始の欠陥を説明しています。つまり、どのアクションも選択することができません。さらに、このアカウントには、選択や開始のためではなく、モーター制御信号 ([[@Albus75]]、[[@Ito98]]、[[@BuonomanoMauk94]]) の迅速なオンライン調整にとって重要であると広く考えられている [[cerebellum]] の寄与から BG の寄与を区別できるという利点があります。

{id=”figure_bg-act-sel” style=”高さ:20em”}

アクション選択モデルの最も単純な形式は、[[#figure_bg-act-sel]] に示すように、選択されたアクションが BG から Go 抑制解除シグナルを受け取る一方、他のすべての選択されていないアクションは No 抑制シグナルを受け取ると仮定します。

しかし、特に線条体のレベルで行動選択が機能する唯一の方法ではありません。たとえば、線条体の Go 経路と No 経路は、特定の行動に事実上賛成か反対かを投票する段階的な重み付け信号に寄与しており、下流のプロセス (運動中脳と脊髄内) がそれらの投票の統合を担当していると考えることができます。重要なのは、選択したアクションであっても、十分な Go 票を獲得している限り、多数の No 票を獲得する可能性があるということです。さらに、賛成票と反対票を個別に表すこの機能には、これらの票をただちに 1 つの信号 ([[@CollinsFrank14]]) に折りたたむ代替手段に比べて、計算上重要な利点があります。

ほとんどの場合、両方が多く発生する、押しと引き、陰と陽のこの敵対プロセスのダイナミクスは、特定のアクションに関連する直接経路ニューロンと間接経路ニューロンが、完全に反対の活動パターンを持つのではなく、両方とも活性化されることを示すかなりのデータとより一致しています ([[@CuiJunJinEtAl13]]; [[@MarkowitzGillisBeronEtAl18]]; [[@KlausMartinsPaixaoEtAl17]]; [[@MengZhouPapaneriEtAl18]])。この敵対する力の段階的なバランスは、直接経路の活性化が作用を促進する一方、間接経路の活性化が作用を阻害することを明確に示している光遺伝学研究とも一致しており ([[@KravitzFreezeParkerEtAl10]]; [[@YttriDudman16]])、これらの経路の相反する効果の証拠は、上記の研究における dSPN 対 iSPN の識別可能な相関関係のない挙動で明らかです。

要約すると、対戦相手、Go 経路と No 経路の間の競争力学は、これらのニューロンが完全に逆相関していることを意味するわけではありません。優れたスポーツの試合と同様に、多くの良い手が両側で行われ、たとえ最終的にどちらかが勝つとしても、各チームは強い勢いでプレーすることができます。実際、筋力のレベルでは、相対する筋肉の間で常に多くの共収縮が発生しており、これは全体的な筋肉の緊張と姿勢の安定性を維持するために必要です。

並列動作の選択とオンラインモーター制御

動作選択の枠組みは、多くの場合、単一の個別の動作が所定の時間に実行される、運動動作の非常に連続的で離散的な概念の観点から解釈されます。しかし、実際に運動動作を駆動する筋肉のレベルでは、それは実際には、段階的に寄与しながら絶え間なく動き続ける、高度に並行した活動の「交響曲」です。冒頭で述べたように、この並列の段階的な処理形式は、モーター制御スペースによる効率的な [[search]] と相乗効果を発揮します。したがって、背外側のBGが筋肉レベルでの運動制御に関与している限り、BGはこの交響曲の指揮者であり、異なる筋肉の活動をより適切に調整して望ましい運動結果を達成するために、それぞれの筋肉に動的で双方向の調節を提供すると考える方が理にかなっています。

このより動的で並行したシナリオでは、Go vs. No 経路は多くの可能な動作から 1 つを離散的かつ連続的に選択するのではなく、むしろ Go と No の間の動的なバランスによって、各筋肉または筋群が任意の時点で並行して選択的に抑制解除される程度が決まります。 NoよりもGoが多い場合、その経路は抑制が解除され、より強力に作用できるようになりますが、NoよりGoのバランスが大きいと、経路が抑制され、進行すべき他の筋肉活動を妨げる傾向があります。上で使用した人形とマスターの例えに戻ると、人形を制御する文字列には双方向制御が必要です。無重力では人形を操作できません。ニューラル ドメインでは、動的な Go 対 No の競争により、この双方向の制御が可能になります。

この運動制御の概念は、最近の総説 ([[@GrillnerRobertsonKotaleski20]]; [[@ParkCoddingtonDudman20]]; [[@ArberCosta22]]) に要約されているように、BG から中脳および脊髄の運動出力領域への下行経路に関する多数の研究の結論と収束します。たとえば、[[@^ParkCoddingtonDudman20]] は、さまざまな周波数帯域の強度を変調する、ステレオ システムのグラフィカル イコライザーの機能のアナロジーを使用しています。また、これらの運動制御研究の多くでは、BG 病変が動的なオンライン運動制御に影響を与えるが、アクションの開始には影響を及ぼさないことが特に判明していることにも注目しています。実際、緊張症のような開始障害は、Go vs. No 経路（Go よりも No の方が多い）の能動的不均衡から生じる可能性が高く、一方、完全な病変では BG 調節が完全に除去されるだけです。

さらに、BG 関数のよりシリアルで離散的な概念につながった考慮事項の 1 つは、神経信号がネットワークを流れる際の極端な漏斗状の圧縮であり、SNr/GPi 出力核の各半球には約 30,000 個のニューロンしかないのに対し、線条体入力では約 280 万個のニューロンしかありません ([[@Oorschot96]])。ただし、30,000 という数字は、個別の筋肉の数 (人間では約 600、ラットではほぼ同程度) と比較すると依然として大きな数字ですが、この 30,000 という数字には BG を通るさまざまな経路がすべて含まれているため、モーター制御部分は 10,000 程度になる可能性があります。解剖学的研究から、BG出力からの異なる経路が中脳の異なる運動制御中枢に投射されていることは明らかであり、これは下行運動系の並行変調と一致している([[@ArberCosta22]])。

以下で詳細に検討するように、BG出力経路におけるニューロンの活動を記録することは、この分野で線条体入力ニューロンの特性に強く焦点が当てられているのと比較して、BG出力経路におけるニューロンの活動が運動制御にどのように寄与しているのかについてより明確な理解を提供すると思われる。 SNr および GPi ニューロンに関するこのような研究は比較的少数であり、並列双方向変調モデル ([[@BarterLiSukharnikovaEtAl15]]; [[@FreezeKravitzHammackEtAl13]]; [[@GulleyKuwajimaMayhillEtAl99]]) を明確に支持しており、個々のニューロンは、異なる運動経路およびそれらの経路における筋肉の位置と強く関連する段階的な活動を持っています。

{id=”figure_bg-loops” style=”高さ:40em”}

さらに、BG のすべての回路を通って皮質の内外に至る詳細な解剖学的経路追跡 ([[#figure_bg-loops]]; [[@FosterBarryKorobkovaEtAl21]]) では、以前の報告 ([[@AlexanderDeLongStrick86]]; [[@Haber03]]) と一致して、BG を通る一連の平行ループの驚くべき地形的トポグラフィーが示されています。 SNr 出力は、関連する高次元の線条体入力を統合して、これらの関連するすべてのニューロンにわたる個々の「投票」を反映する連続値の運動固有の信号を生成します。これらの平行経路の詳細については、以下の [[#compartmental organization]] を参照してください。腹内側 BG に特有の他の経路については、[[#ventral pallidum]] を参照してください。

比較的低次元で並列の段階的な BG 出力信号は、下行運動制御の観点からは理にかなっていますが、この種の信号は、視床を通ってさらに数百万のニューロンが存在する新皮質に戻る上行投射の状況ではどのように機能するのでしょうか?そして、BG 出力は、皮質運動野から同じ中脳および脊髄運動野への直接下降投影とどのように調整するのでしょうか?

大脳皮質における運動制御の平行した筋肉ベースの概念を維持する場合、BG 上行投射は、視床を通過する際にこれらの筋肉ベースの経路を調節する際に、同様の人形使い/車掌/信号機の役割を果たすことができます。たとえさらに多くの車線があったとしても、同じ低次元の Go vs. No 制御は、依然としてこれらの車線を通る信号の流れに対して有用な制御を提供できます。さらに、この変調は、肺後核を通した視床投射が後皮質で [[predictive learning]] を駆動するのとほぼ同じように、皮質でのエラー駆動学習を駆動する可能性があります。

次のセクションで BG 回路の更新された詳細なモデルを検討した後、BG 機能が動作する複数の異なる経路とドメインにわたる全体的な BG 機能に関する大局的な問題に戻ります。入手可能な証拠は、これらの異なる経路が異なる機能特性を持ち、腹側領域と内側領域のニューロンがより一貫性のある離散的な動作をするのに対し、背外側運動制御領域はより平行で段階的かつ調節的であることを強く示唆しています。同じ種類の回路からこれらの異なる動作モードがどのようにして現れるのでしょうか?これらの明らかな違いの間には、他にも強い共通点があるのでしょうか?これらは、詳細なモデルを踏まえて再検討する質問の一部です。

Pallidal コア (PCore) モデル

古典的な直接経路モデルと間接経路モデル ([[#figure_bg-gating]]) には以前から不正確さや欠落が指摘されていましたが、比較的最近の分子標識技術により、BG の動態を形成する上で GPe がより中心的な役割を果たす新しい解剖学的モデルの決定的な証拠が提供されました ([[@CourtneyPamukcuChan23]] (レビュー)、[[@MalletMicklemHennyEtAl12]]; [[@SaundersMacoskoWysokerEtAl18]]; [[@DodsonLarvinDuffellEtAl15]]; [[@NambuChiken24]]; [[@^SuryanarayanaHellgrenKotaleskiGrillnerEtAl19]] は、新しい GPe 解剖学的構造を組み込んだ [[@^GurneyPrescottRedgrave01]] の以前のアクション選択モデルのバージョンを開発しました。これは、以下で説明する PCore モデルに影響を与えました。

{id=”figure_pcore-bio” style=”高さ:25em”}

この新しい回路の実装は、[[#figure_pcore-bio]] に要約されており、GPe ニューロンの 2 つの主要なサブタイプを示しています。GPeAk は、分子マーカー NPAS1 および FOXP2 を発現する arkypallidal GPe ニューロンであり、GPePr は、古典的モデルの GPe と同様の接続パターンを持ち、PV を発現する prototypical GPe ニューロンです。 (パルブアルブミン、[[inhibition]] で説明されている) および KCNG4。図に示されているように、GPe ニューロンの約 45% は原型的であり、18% は有核淡蒼球で、さらに 12% が SNc ドーパミン領域に投射しています (線条体の [[#striosomes]] ニューロンと同様、これについては以下で説明します)。残りのニューロンはより不均一なグループを構成しますが、当面は無視します。

線条体は主に古典的モデルと同じままですが、SPN ニューロン間の側方抑制が強く非対称であり、iSPN は dSPN を抑制するがその逆は抑制されない ([[@TavernaIlijicSurmeier08]]) という 1 つの新しいしわがあり、これは GPe からのダイナミクスの残りの部分と互換性があります。

古典的なモデルとは異なり、GPe は直接経路 dSPN ニューロンから重要な入力を受け取り、GPeAk 淡淡蒼球ニューロンに強く有利です。一方、原型の GPe ニューロンは、古典的なモデルと同様に、ほぼ独占的に iSPN ニューロンからの入力を受け取るため、このように名付けられました。 GPeAk ニューロンはまた、線条体に逆投影することによって古典的なモデルから分岐しており、これによりその機能についての重要な洞察が得られます。一方、原型の GPe ニューロンは、それ自身と GPeAk ニューロンを抑制すると同時に、古典的に記述されている抑制性の投射を出力核 (SNr/GPi) に送ります。

GPeAk ニューロンに収束するこの回路は、古典的な直接対間接のダイナミック ([[#figure_bg-gating]]) を効果的に複製しますが、SNr/GPi 出力ニューロンの代わりに GPeAk を直接阻害および間接脱阻害のターゲットとします。これにより、GPeAk ニューロンは、Go 対 No の力の統合バランスを計算できるようになり、そのバランスが線条体にフィードバックされ、この内部回路が動的統合処理を駆動できるようになります。これは、厳密なフィードフォワード古典モデルでは不可能でした。これが PCore モデルの「コア」です。

最後に、[[STN]] (視床下核) は、BG 回路で重要な役割を果たしており (パーキンソン病の治療の主要な標的でもあります)、皮質からの「ハイパーダイレクト」投射をサポートし、興奮性グルタミン酸作動性投射を GPe ニューロンおよび SNr/GPi ニューロンに独自に送信します。この接続セットは、BG の下流ターゲット ([[@Frank06]]) を抑制する SNr/GPi 出力に励起の初期バーストを駆動することにより、BG の脱抑制効果に初期の「ブレーキ」を与えるのに重要であると長い間認識されてきました。 STN の別の役割は、異なる強度と入力数 ([[@GurneyPrescottRedgrave01]]、[[@GurneyPrescottRedgrave01a]]、[[@GurneyHumphriesRedgrave15]]、[[@BogaczGurney07]]) の下でシステムの感度を維持するための正規化要素としての役割であり、STN ニューロンの異なるサブセットを特徴付ける可能性があります。

PCore モデルでは、GPePr への STN 射影は、GPePr から STN への相互抑制反射を駆動するために重要です。これにより、SNr/GPi 出力が実際に正味抑制される可能性があるウィンドウが開きます。これは、STN ニューロンのサブセットが、最初の活動のバースト後に発火の延長された一時停止に入るからです ([[@FujimotoKita93]]; [[@MagillSharottBevanEtAl04]])。 STN と GPePr の間のこの興奮性と抑制性の関係は、パーキンソン病に関連する振戦に広く関与しています ([[@BevanMagillTermanEtAl02]]; [[@Nevado-HolgadoMalletMagillEtAl14]]; [[@LindahlKotaleski16]])。

STN はまた、GPeAk に興奮を投影し、線条体をより強力に阻害します。これは、(以下に示す神経記録データに示されているように) SPN 発火の顕著に一時的で位相的な性質のためのメカニズムを提供します。 GPeAk の持続活性は SPN の抑制を維持し、皮質活性の増加に伴う STN からの興奮の増加は、SPN も受ける活性の増加を補います。その後、活動が一時停止した後、STN 発火の回復によって GPeAk が再び活性化され、一時的な SPN 活動が終了します (そして BG 出力核のブレーキが再びかかります)。これらのダイナミクスの神経基盤の詳細と議論については、[[STN]] を参照してください。STN には複数のセル タイプがあり、おそらく複数のことを行っています。

{id=”figure_pcore-dyn” style=”高さ:30em”}

[[#figure_pcore-dyn]] は、最終的に正味脱抑制 (「Go」) および正味抑制 (「No」) になる場合の動作中の PCore モデルを示します ([[BG ventral simulation]] を参照)。 Go の場合、主な手順は次のとおりです。

1. STN ハイパーダイレクト アクティビティは、SNr/GPi、GPePr、および GPeAk ニューロンにバースト的な活性化を提供し、SNr/GPi 出力の抑制を効果的に防ぎます。これはシステムの最初の「ブレーキ」であり、GPePr が STN を阻害すると解除され、[[neuron channels#SKCa]] カルシウム依存性 K チャネルがより長時間持続する抑制休止状態を生成し、BG が出力経路を制御するためのウィンドウ (すなわち、ゲート ウィンドウ) を提供します。

2. 「ACC」入力 (このモデルでは単にクランプされた入力層) から dSPN へのより強力な学習重みにより、これらのニューロンは相手の iSPN ニューロンよりも激しく反応します。

3. この dSPN 活性は GPeAk を直接阻害し、全体的な「Go」モード活性をさらに促進する「正の」脱抑制フィードバック ループを開始します。これは事実上一種の増幅回路であり、広範囲の異なる入力強度にわたって Go と No を区別できるようにするために重要です。

4. GPeAk 活性の低下により線条体ニューロン (dSPN と iSPN の両方) が脱抑制され、これにより dSPN 経路がさらに増加し​​ますが、これは dSPN 細胞を直接阻害する iSPN 経路の発火増加によっても抑制されます。

5. 線条体 dSPN 活性の増加により、SNr/GPi ニューロンが抑制されます…

6. それによって、BG の下流の標的、この場合は視床を脱抑制するという古典的な Go 経路の力学が達成されます。

7. この段階的出力脱抑制は、STN ニューロンが活動休止から回復すると終了し、GPeAk が興奮し、SPN が抑制されます。 SNr/GPi 出力核でもブレーキが再びオンになります。

右側に示されているケースは、iSPN No 経路が入力によってさらに励起されたときに何が起こるかを示しています。

1. これで、iSPN ニューロンが最初はよりアクティブになります。

2. GPePr を阻害し、それによって GPeAk を脱阻害します。

3. したがって、GPeAk 活性が継続すると線条体が阻害され、dSPN Go 経路の活性化が妨げられます。

4. したがって、SNr/GPi はアクティブなままになります…

5. そして視床は SNr/GPi によって抑制されたままになります。

要約すると、GPeAk ニューロンは GPePr を介して iSPN 入力に対して直接の dSPN 経路入力を統合し、このバランスの内部統合を提供し、それがフィードバックされて線条体入力経路の活動を調節します。 GPeAk が実質的に阻害されると、dSPN 経路が増幅され、全体的な脱阻害 (「Go」) が促進される可能性が高くなりますが、GPeAk が GPePr 上の iSPN 阻害によって脱阻害される場合はその逆が当てはまります。また、STN ハイパーダイレクト入力と機能的に一致する GPeAk への直接的な興奮性皮質投射もあり、これらの差動ダイナミクスが作用するベースラインを提供します (.

直接経路と間接経路が GPe での収束を介して相互作用するこの能力は、古典理論の主な問題の 1 つを解決します。つまり、線条体の SPN ニューロン間にはまばらで弱い抑制性の接続しかなく、強力な抑制性の競合と選択の動態を支持する可能性は低いと考えられます ([[@TunstallOorschotKeanEtAl02]])。 GPe は線条体全体よりもサイズがはるかにコンパクトであるため (つまり、[[#figure_pcore-dyn]]; [[@Oorschot96]] に示すように、線条体の約 280 万個と比較して、ラットの GPe には約 46,000 個のニューロンがあります)、したがって、はるかに大きな空間で直接競合する必要があるニューロンと比較して、これらの経路が相互に競合的に相互作用するのははるかに簡単です。線条体の。

{id=”figure_ketzef-etal” style=”高さ:35em”}

これらの動態は、iSPN ニューロンまたは STN ニューロン ([[#figure_ketzef-etal]]) を選択的に活性化する最近の光遺伝学的刺激実験 ([[@KetzefSilberberg21]]) など、記録された神経活動のさまざまなパターンと一致しています。他の多くの研究では、GPeAk の活性化と運動活動の阻害の影響に関する一貫したデータが報告されています ([[@MalletSchmidtLeventhalEtAl16]]; [[@GlajchKelverHegemanEtAl16]]; [[@PamukcuCuiXeniasEtAl20]]; [[@GuSchmidtBerke20]]; [[@TachibanaKitaChikenEtAl08]]; [[@DodsonLarvinDuffellEtAl15]])。

実装の観点から、GPe ニューロンは同じ [[Axon]] スパイキング [[neuron]] モデルを使用してシミュレートされますが、強直性興奮性コンダクタンスを提供することによって強直性活動がシミュレートされる点が異なります。

PCore の機能上の利点

大まかな筆触レベルの分析では、PCore モデルは古典的な BG モデルと同様の動作を示し、ネット Go とネット No パスの間で強力な対戦相手がダイナミックに動きます。ただし、GPeAk ニューロン内の Go vs. No バランスの内部統合と、同様の他のバランス相互作用 (例: dSPN の iSPN 阻害、GPePr ニューロンの自己阻害) により、古典的モデルよりもかなり堅牢になり、これらの経路の相対的なバランスを反映する重要な時間的ダイナミクスを示すことが可能になります。

{id=”figure_bgventral-test” style=”高さ:20em”}

[[BG ventral simulation]] は、単純な意思決定のコンテキストでこれらのダイナミクスを調査します。これは、システムが生の入力活性化強度の広範囲にわたって比率ベースの決定しきい値を適用できることを実証し、初期 Go 対経路活性化なしの相対強度が Go に有利な場合に、一貫して脱抑制性 Go ダイナミクスを示します ([[#figure_bgventral-test]])。さらに、Go と No のバランスが近づくにつれて、システムが意思決定を行うまでの時間が長くなり、追加の入力信号を統合する時間が長くなり、結果として得られる意思決定の全体的な品質が向上します。

この時間的動態は、経験的 ([[@YartsevHanksYoonEtAl18]]; [[@DunovanLynchMolesworthEtAl15]]; [[@DoiFanGoldEtAl20]]; [[@DingGold13]]) および理論的 ([[@BogaczGurney07]]; [[@BogaczMoraudAbdiEtAl16]])。

STN 機能の「馬を抱く」モデル ([[@Frank06]]) では、曖昧さの関数として BG の意思決定速度を調整するこの能力は、STN への皮質入力における曖昧な活動パターンに応答した STN の持続的な活動に起因すると考えられました。対照的に、このダイナミックは GPeAk 統合およびフィードバック ループ メカニズムから PCore モデルで生じます。これには、皮質表現自体ではなく、皮質入力に対する線条体の dSPN 対 iSPN 応答に直接基づいているという重要な利点があります。

PCore モデルにおける STN の主な機能は、出力核を正常に抑制し、下流のターゲットを抑制解除するために、BG に位相ウィンドウを開くバースト後に一時停止の発火パターンを提供することです。これにより、以下で検討するデータと一致して、BG が一時的な位相効果のみを駆動することが保証されます。

[[@^GurneyPrescottRedgrave01]] ([[@GurneyPrescottRedgrave01a]]; [[@GurneyHumphriesRedgrave15]]; [[@BogaczGurney07]]; [[@HumphriesGurney21]]) のアクション選択モデルは、代わりに STN からの持続的で比例した活動を必要とするため、これらのさまざまなモデルが STN 活動について独特の予測を行うことは明らかであり、これはさらなる実証テストの重要なトピックとなっています。 STN 活動の一時的および持続的モードは、STN ニューロンの異なるサブタイプによってサポートされている可能性もあります。

最後に、線条体の GPeAk 脱抑制は、観測データ ([[@CuiJunJinEtAl13]]) と一致して、全体的には反対の関係にあるにもかかわらず、dSPN と iSPN の発火に何らかの相関関係があることを強く予測します。ただし、自然主義的な行動の文脈で発火する dSPN と iSPN の特性と一致して、全体としては対立関係が依然として明らかです ([[@MarkowitzGillisBeronEtAl18]]; [[@KlausMartinsPaixaoEtAl17]])。

全体として、PCore 回路のいくつかの機能は、STN でのブレーキ後のブレーキ解除のダイナミクスや、dSPN と GPeAk 間の漸進的な正のフィードバック ループなど、アクション開始の役割と一致する動作を生成します。それにもかかわらず、バランスの取れたダイナミクスは、展開する運動動作に対して継続的な調節制御を提供する能力と一致して、正味の脱抑制トーンのより段階的でバランスの取れた組み合わせの生成もサポートする必要があります。

BG の機能的貢献

{id=”figure_bg-all” style=”高さ:25em”}

回路ダイナミクスのレベルから戻り、BG が関与するさまざまな領域にわたって、BG が全体の脳機能にどのように寄与しているかという全体像の疑問に戻ります。 [[#figure_bg-all]] は、ラットの BG と脳の残りの部分の間の接続の主要なパターンのいくつかの概要を提供します。線条体の腹側部分と内側部分については、[[#figure_bg-rat-nhp]] ですでに詳しく説明されていますが、[[#figure_bg-all]] は、視床の核 (VM = 腹内側、VL = 腹外側) と、BG 出力が脱抑制する脳幹運動野の一部を通って続く、背側および外側運動野に関わる回路の一部を占めています。

ここでの全体像は、BG が運動から動機に至るまで、脳機能のすべての主要な経路の「ボタンを押す」位置にあるということです。 [[#figure_bg-all]] は、標準 [[reinforcement learning]] (RL) パラダイムに従って抽象化された環境状態情報を提供する、[[neocortex]] の後部領域から BG への広範な感覚投影を示しません。単純な話は、BG が脳内で興奮性刺激が起こる場所であり、相性ドーパミン信号が行動を最適化するための学習を促進するということです。

各領域がどのような役割を果たしているかをより詳細に理解するために、次のセクションでは、腹内側 (VM) および背外側 (DL) BG 領域のタスク関連の神経活動を調べます。このデータは、VMS 線条体ニューロンは一連の行動の開始時と終了時には活動的ですが、途中の重要な決定点では活動しないことを示しています。これは [[Rubicon]] フレームワークと一致しており、単一の目標に取り組むステップを反映しています。したがって、BG は単純なモデルフリー形式の RL ではなく、目標に関与するウィンドウの開始時に選択された目標を達成するために時間の経過とともに動作を組織化する、モデルベースの RL のプロアクティブな目標駆動形式をサポートします。

一方、DLS 線条体では、動作の運動エンコードがどのようなものかを調べ、それを出力経路からの比較的まれな記録にまで遡って追跡します。

VS での目標関連アクティビティ

{id=”figure_vs-maze” style=”高さ:30em”}

[[#figure_vs-maze]] は、最も広く研究されている行動パラダイムの 1 つである T 型迷路をナビゲートすることを学習するラットの腹内側線条体 (VMS) のニューロンの活動を示しています ([[@AtallahMcCoolHoweEtAl14]])。ラットを開始位置に配置すると、聴覚警告クリック音 (WC) が試験の開始を知らせ、その時点でゲートが開きます。最初の腕を駆け下りるとき、ラットは餌を得るためにT字路で左に曲がるべきか右に曲がるべきかを示す別の聴覚的合図を聞きます。このデータは、VMS ニューロンの 1 つのサブセットが、トレーニングのさまざまな段階を通じて一貫して、警告クリックに対して強力かつ段階的に反応することを明確に示しています。次に、他の 2 つのニューロンのサブセットが、ゴールでの報酬を期待して、または報酬の受け取り後に反応します。

観察されていないのは、実際にラットに報酬を得るためにどの方向に曲がるべきかを伝える識別信号に反応するニューロンです。最初から存在するこの顕著な反応の欠如は、VMS ニューロンが警告のクリックによって引き起こされる最初の目標選択段階で一時的な役割を果たしており、そこでどちらに曲がるかを決定する合図を使用する行動戦略を包含する計画を活性化しているという考えと一致しています。したがって、キューが発生したときにその計画がそれ以上更新されることはありません。最後に、報酬の期待と報酬を受け取った後のアクティビティを追跡します。これはおそらく、実際に起こったことに基づいて目標表現を更新およびクリアするために重要です。

[[arm maze simulation]] は、[[Rubicon]] モデルが、同様の種類の行動選択を行う際に、これと同じ行動パターンをどのように示すかを示しています。このアクティビティ パターンは、TD アルゴリズムによって予測される、より単純な種類の [[reinforcement learning#model-free]] RL 学習と一致しないことに注意することも重要です。このアルゴリズムは、学習の過程で、時間差エラー信号の連鎖のようなダイナミクスが、最も早い信頼できる報酬予測子を見つけるために時間的に徐々に逆方向に移動するため、アクティビティが識別キューから最初の警告クリック (つまり、「バックアップ」) に戻ると予測します。

DLにおける運動活動

{id=”figure_ds-actions” style=”高さ:30em”}

[[#figure_ds-actions]] は、自由に行動するマウスの背外側線条体 (DLS) における、マウスが自然に示すさまざまな動作に関連する神経活動を示します ([[@MarkowitzGillisBeronEtAl18]])。これらの応答の最も明白な特性は次のとおりです。

• 個々の SPN ニューロンは、動作の開始をわずかに予測する (約 50 ～ 70 ミリ秒) から動作後約 1 秒までの時間枠にわたる、個別の運動動作に関連した、信頼性が高く、正確にタイミングが調整された短い活動と抑制のウィンドウを示します。これは、上に示した VS ニューロンとは大きく異なります。

  This means that the SPN activity is clearly not exclusively or even predominantly involved in action initiation, thereby raising significant questions about the action selection model. However, further experiments reported in [[@MarkowitzGillisBeronEtAl18]] showed that DLS inactivation resulted in nearly identical performance of individual actions, but the overall pattern of actions was impacted, and the ability to shape action to avoid a noxious smell was impaired. Other analyses showed that neural activity was conditional on the sequential context in which an action is performed. Thus, this BG activity is likely important for a more graded, parallel, ongoing shaping of motor actions that ends up determining which actions are performed, as discussed earlier.

  The brief windows of activity (which were present in individual trials, not just the averaged data) are consistent with the STN gating window dynamic of the PCore model, as discussed in more detail in [[STN]]. Given that each neuron recorded has a slightly different such peak, this suggests that there are strongly parallel microcircuits through the BG system,

• dSPN ニューロンと iSPN ニューロンの活動プロファイルは、図に示されている平均トレースという点では本質的に同一です。ただし、統計的には、iSPN ニューロンと dSPN ニューロンの個々の発火挙動は無相関であり、基本的な接続性と、これらのニューロン間の基本的な Go 対 No の区別を裏付ける圧倒的な証拠と一致しています。

• 異なるアクション タイプにわたる個々の SPN の参加は、アクションの類似性に一致する表現的な重複を備えたスパース [[distributed representations]] と一致します。

{id=”figure_ds-snr” style=”高さ:30em”}

[[#figure_ds-snr]] は、[[@^BarterLiSukharnikovaEtAl15]] からの、背外側運動野の SNr の BG 出力経路におけるニューロンの活動の補足画像を提供します。これは、これらのニューロンの一部が、頭の位置などの連続的な運動結果変数を厳密に追跡する段階的な発火率信号を提供することを明確に示しており、これらのニューロンが体のさまざまな部分を制御する筋肉群に比較的直接的なマッピングを提供するという考えと一致します。

さらに、これらのニューロンの出力レベルでは、線条体ニューロンに存在する一時的な一時的な活動は明らかではなく、代わりに神経活動の連続的な変調が存在するように見えます。これは、時間の経過とともに重なる多くの線条体ニューロンの寄与の統合を反映し、継続的な全体的な効果を生み出す可能性があります。また、眼球運動相関を伴う SNr ニューロンの記録については、[[@^BassoWurtz02]] を参照してください。SNr ニューロンは、丘の対応する運動野に先立って発火しないものの、連続的な活動変調を持っています。

総合すると、このデータは全体的に、運動動作空間の段階的専用並列表現と強く一致しており、学習の過程でそのような動作の空間を通じて効率的な勾配ベースの [[search]] プロセスをサポートします。 [[BG dorsal simulation]] は、この学習が比較的高次元のアクション シーケンス空間を効率的に検索して、任意のアクション シーケンスを学習する方法を検討します。

視床の調節が皮質に戻る

皮質に焦点を当てた行動選択モデルの強力なバージョンでは、BG が視床皮質ループの脱抑制に重要であり、それによって皮質における行動選択を制御すると考えられています ([[@AlbinYoungPenney89]]; [[@ChevalierDeniau90]]; [[@FrankLoughryOReilly01]]; [[@GurneyPrescottRedgrave01]]; [[@Frank05]]; [[@OReillyFrank06]])。しかし、視床の GPi 出力核と VLa 核の接続領域からの最近の同時記録では、そのような動的な証拠はほとんど示されず ([[@SchwabKaseZimnikEtAl20]])、視床の運動関連活動に対する BG 病変の影響が最小限であることを示した初期の病変研究 ([[@InaseBufordAnderson96]]) と一致しています。代わりに、GPi と視床の活動は通常同じ方向に移動し、GPi 発火の運動に関連した変化は通常、VLa 自体で見られる変化の後に続きました。他のさまざまな測定では、GPi の視床活動への直接的な影響はほとんど示されていませんでした。

視床に対するBGのこの明らかな影響の欠如とは対照的に、直接刺激研究では、BG出力核の刺激による視床の強力な抑制が示されており、これらのニューロン間の単シナプス抑制関係と一致しています([[@KimKimNakajimaEtAl17]]; [[@CataneseJaeger21]])。これらの発見の最も明白な一致は、[[@^SchwabKaseZimnikEtAl20]] 研究の運動課題には単純な過剰訓練された到達動作が含まれていたのに対し、実際に BG の主な機能がドーパミンの一時的変化によって駆動される [[reinforcement learning]] をサポートすることである場合、BG の影響は新しい運動課題の初期学習中に発生すると予想されることです。

実際、視床に対するBGの影響が学習とともに減少することを示す研究は数多くあり([[@DesmurgetTurner10]]; [[@PironKaseTopalidouEtAl16]]; [[@HorakAnderson84]])、また、BGは初期獲得にのみ重要であり、学習した運動動作の発現には重要ではないことを示す他の研究([[@NeelyKoralekAthalyeEtAl18]]; [[@KoralekCostaCarmena13]]; [[@KoralekCostaCarmena13]]; [[@YinKnowltonBalleine04]]; [[@YinMulcareHilrioEtAl09]];

要約すると、皮質機能に対するBGの主な上昇寄与は、視床への影響を介して学習を促進することです。これは、[[BG dorsal simulation]] で説明されているように、PCore モーター制御モデル全体の重要なコンポーネントです。

次のセクションでは、特に学習に重要な機能に貢献する BG システムの追加要素について説明します。

腹部淡蒼球

{id=”figure_vp-conns” style=”高さ:25em”}

BG の腹側および内側領域 (腹内側線条体、VMS) の主要な出力経路は腹側淡蒼球 (VP) であり、淡蒼球の腹側バージョンと考えることができます。 VP は、[[prefrontal cortex]]、[[amygdala]]、[[dopamine]] (VTA) の腹側領域と内側領域に広範囲に投影する MD 視床を含む、すべての主要な [[emotion]]al 脳領域 ([[#figure_vp-conns]] から [[@RootMelendezZaborszkyEtAl15]]) に出力を送信します。 [[serotonin]] (背側縫線)、および [[hypothalamus]] ([[@KupchikPrasad21]])。 VMS からの SNr 出力も MD 視床に投影されますが、これらの経路がどのように異なるかは明らかではありません ([[@GroenewegenBerendseWoltersEtAl90]])

したがって、VP は、[[Rubicon]] フレームワークにおける目標関連処理の主要な出力経路であり、[[PVLV]] モデルで捉えられているように、これらの経路は、(VTA および SNc における) ドーパミンの発火に対する腹内側の BG 制御にも重要です。 PVLV の中核となるメカニズムには、VMS の直接および間接の経路ニューロンが関与しており、VTA ドーパミン ニューロンのシャント阻害および脱抑制を駆動すると同時に、[[lateral habenula]] への投射を介してドーパミン発火の位相的ディップを駆動することができます。これらの予測の計算機能は、[[reinforcement learning]] モデルの critic のように、最近の VP データ ([[@OttenheimerBariSutliefEtAl20]]) と一致して、VMS ニューロンによって学習された報酬予測に相対的な RPE (報酬予測誤差) を計算することです。

これらの腹内側経路が生存に関連した行動にとって基本的に重要であることを考えると、結果として生じる回路は、数百万年にわたる [[evolution]] によって広範に形成されており、そのため、個人の生涯内の学習メカニズムを通じてより多くの機能を引き出す背外側 BG と新皮質のより規則的で定型的な構造に比べて、かなり複雑で理解するのが困難です。それにもかかわらず、直接的および間接的な経路を介した相手の処理の同じ原則が VP にも適用されることは明らかです ([[@KupchikKalivas17]]; [[@RootMelendezZaborszkyEtAl15]]; [[@KupchikPrasad21]]) が、関係する経路と神経伝達物質はより複雑です。

背外側線条体との違いの 1 つは、腹内側線条体ニューロンにはパッチ (ストリオソーム、次に説明します) とマトリックスの間に明確な解剖学的区別がないため、これらの異なる機能が解剖学的に混在していることです。 [[prefrontal cortex]] および [[PVLV]] でさらに説明するように、クリティカル RPE の機能はパッチ ニューロンによるものであると考えますが、目標選択ゲートの決定は MD 視床までのマトリックス投影に関連しています。

区画組織

BG の背側領域には、アクションの選択と学習における専用並列 [[search]] をサポートする重要な追加特性のコレクションがあり、特に、同時に多くの異なる要素の並列で段階的な活性化に関連する [[credit assignment]] 問題に関しては重要です。 [[#figure_bg-loops]] は、BG が背側線条体へのさまざまな感覚運動入力の地形的な収束入力の観点から組織されており、SNr/GPi 出力が多くの線条体の賛成票と反対票の寄与を統合して、上で説明したように全体的に段階的な運動制御信号を生成することを示しています。

このトポグラフィーには、共通のモーター出力信号に寄与する個々の SPN ニューロン間の学習を調整する追加のタイプのニューロンが重ねられています。これらのニューロンは、最終的に行動行動から生じる相性 [[dopamine]] critic (報酬予測誤差) 信号に関連して、この運動経路の実際の寄与と活動に特化したクレジット割り当て信号を提供します。この特殊なクレジット割り当ては、より正確なクレジットと責任を割り当てるために不可欠であり、したがって、純粋にグローバルで未分化の批評家信号のみが個々の活動に比例してすべてのニューロンに適用される代替方法と比較して、並列検索プロセスが大幅に高速化されます。

{id=”figure_compartments” style=”高さ:30em”}

[[#figure_compartments]] には、次の要素が含まれます。

• ストリオソームのパッチ。背側線条体 ([[@GraybielRagsdale78]]; [[@Gerfen92]]) に集まっており、これまでの議論の焦点である **マトリックス ニューロンに囲まれています。これらのパッチ ニューロンは、SNc 内のドーパミン ニューロンの発火を双方向に制御する明確な投射を備えており、その後、これらの同じ解剖学的領域に戻って投射します ([[@Stephenson-JonesKardamakisRobertsonEtAl13]])。これらのパッチ ニューロンの接続性は、上で論じた腹側淡蒼球を介した腹内側線条体の接続性と類似しており、局所グループの活動に基づいて特殊なドーパミン信号を提供する局所的批評システムの要件に顕著に適合します。

• CIN はコリン作動性介在ニューロンであり、筋膜傍 (PF) フィードバック ループから強力な入力を受け取り、[[acetylcholine]] の周囲のパッチおよびマトリックス細胞への体積伝導を駆動し、統合されたモーター出力信号が特定の機能領域全体で学習と活動を調節するための主要なメカニズムを提供します。

以下では、クレジット割り当て計算のソースとなる PF フィードバック信号の性質をさらに検討することから始めて、これらの各コンポーネントについて説明します。

筋膜傍フィードバックループ

[[#figure_bg-loops]] に示すように、SNr/GPi の BG からの出力信号は、視床の筋膜傍 (PF) 核を介して線条体にフィードバックされます ([[@FosterBarryKorobkovaEtAl21]]; [[@FallonHughesSeverinoEtAl23]]; [[@MandelbaumTarandaHaynesEtAl19]]; [[@AllowaySmithWatson14]])。霊長類では、この回路の一部はセントロメディア核 (CM) 核と呼ばれますが、このフィードバック接続性の総称として PF を使用します。この経路は、皮質入力とほぼ同じ量の総シナプス入力を線条体に提供するため、BG 回路全体の重要な部分です。 PF ニューロンは、BG 出力から重要な入力を受け取ることに加えて、皮質および上丘 (SC) の関連領域から入力を受け取ります。したがって、抑制性 BG 出力はこれらの興奮性入力を変調して、段階的な全体的なモーター制御信号を提供することができます。

PCore 背側線条体モデルで捉えられるこの経路の機能的影響は次のとおりです。

• PF ニューロンはマトリックスの SPN に直接投射しますが、ストリオソームには直接投射せず、樹状突起の遠位領域でシナプスを形成し、スパインではなくシャフトを標的とし ([[@SmithRajuPareEtAl04]])、AMPA 受容体に対する NMDA の比率が高くなります ([[@EllenderHarwoodKosilloEtAl13]])。これらの特性は、その広範な接続パターンとともに、SPN に対する調節的な役割を示唆しており、潜在的に SC からの顕著な感覚入力が関連する運動野を上方制御することも可能にします。

• PF は、PF 投影とは異なり、CIN がパッチ SPN とマトリックス SPN の両方に調節シグナルを提供できるため、CIN へのグルタミン酸作動性入力の主要な供給源を提供します。これは、モデルにおける PF 経路の主な機能です。

• DLS への PF 投影は、マトリックス内の抑制性介在ニューロンを特異的に活性化し、SPN 発火を狭い時間枠に制限し続ける追加の終了抑制を提供する可能性があります。

CIN

コリン作動性介在ニューロン (CIN) は、一般的に静止している SPN とは対照的に、継続的に発火するという事実により、以前は緊張活性ニューロン (TAN) と呼ばれていました。 [[Rubicon]] および [[PVLV]] で説明したように、[[acetylcholine]] (ACh) システムは、CIN を介した BG を含む多くの脳領域の興奮性と学習を調節するために重要です。また、上で述べたように、CIN は、BG SNr/GPi 出力を線条体に戻す筋膜周囲フィードバック ループから重要な入力を受け取ります。

CIN はかなり広い間隔で配置されており、ストリオソームとマトリックス細胞の境界に優先的に位置しており、CIN はこれら 2 セットの線条体ニューロン間の橋渡しをしていると考えられています ([[@GonzalesSmith15]]; [[@PragerPlotkin19]])。それらは背側領域に最も集中しており、腹側領域には比較的まれです([[@AbudukeyoumuHernandez-FloresGarcia-MunozEtAl19]])。これは、それらが並行運動学習プロセスを調節するのに最も重要であるという考えと一致します。 [[acetylcholine]] で説明されているように、腹側目標学習領域では、集中型 LDT ACh 信号がより重要です。

CIN は強直に活動するため、その位相的な影響は、短い活動の後に比較的長い休止期間があり、その後リバウンドするという定型的なパターンを通じて生じます。このパターンは、SPN のシナプス可塑性を促進し ([[@NairGutierrez-ArenasErikssonEtAl15]]; [[@DoigMagillApicellaEtAl14]]; [[@GoldbergReynolds11]]; [[@CrittendenLaceyWengEtAl17]])、ドーパミン放出を直接刺激することもできます ([[@AbudukeyoumuHernandez-FloresGarcia-MunozEtAl19]]; [[@GoldbergReynolds11]])。したがって、CIN は、PF およびその他の入力からのフィードバック信号に基づいて、ストリオソーム (およびマトリックス) での学習のためのクレジット割り当て変調信号を提供するのに理想的な位置にあります。

ストリソーム

{id=”figure_striosomes-out” style=”高さ:25em”}

{id=”figure_gph” style=”高さ:35em”}

ストリオソームのパッチ ニューロンには直接型と間接型 ([[#figure_striosomes-out]]) の両方があり、直接経路は SNc ドーパミン ニューロンに投影され、ドーパミンを線条体に送り返します (線条体は直接阻害します; [[@EvansTwedellZhuEtAl20]]; [[@NadelPawelkoScottEtAl21]]; [[@OkunomiyaWatanabeBannoEtAl25]]; [[@DongWangSullivanEtAl25]])。そして GPh を介して [[lateral habenula]] に投影する間接経路 (手綱核投影淡蒼球; [[#figure_gph]]; [[@Stephenson-JonesKardamakisRobertsonEtAl13]]; [[@WallaceSaundersHuangEtAl17]])。外側手綱核 (LHb) は、ドーパミン発火の位相的ディップを駆動する機能のみを備えています ([[PVLV]] を参照)。したがって、これらのニューロンは、比較的地形的に組織化されたベースで線条体のドーパミン神経調節を調節する立場にあります ([[@JoelWeiner00]])。

全体として、ストリオソームの入力および出力の接続は、腹内側線条体のニューロンの接続と類似しており、上で議論した腹側淡蒼球出力との強い類似性を備えています。ストリソームは、背外側運動野に位置するものであっても、運動皮質 ([[@BerendseGalis-DeGraafGroenewegen92]]; [[@Gerfen89]]) ではなく、腹側および内側の目標主導型脳領域 (PL、IL、ACC) から優先的に入力を受け取ります。したがって、上で述べたように、ストリオソームは、BG の機能領域に局所的なクリティカル信号を提供するように理想的に構成されています。

我々は、PF フィードバック入力によって駆動される CIN からのコリン作動性入力が、全体的な BG 出力に基づいて特定のストリオソームにおける批評家の学習を特殊化する信号を提供すると仮説を立てます。具体的には、一連の運動動作の実行中に PF 活動が発生すると、ストリオソームは、CIN 活動を通じてフィルターされた PF 信号によって変調 (乗算) された、前後のシナプス活動のシナプス トレースを蓄積します。このシナプス トレースは、最終的な結果時間ドーパミン RPE 信号によって変調され、シナプスの重みがどの方向に変化するかを決定します (具体的な式については以下を参照)。

{id=”figure_bgdorsal-dad1-epoch” style=”高さ:20em”}

最終的な結果は、ストリオソームは、ストリオソームに入力される目標コンテキストの関数として、活性化される PF 出力経路に関連する期待される報酬を表すということになります。直接経路ストリオソームは正の報酬関連（ドーパミンバーストで増加）をコード化し、間接経路ニューロンは負の関連（ドーパミンディップで増加）をコード化します。 [[#figure_bgdorsal-dad1-epoch]] は、ダイレクト パスウェイ (D1) パッチ ニューロンが、正しくない PF 出力プールと比較して、正しい PF 出力プールにはより大きな報酬期待があることをすぐに学習することを示しています。逆のパターンは D2 間接ニューロンにも当てはまります。

このローカルな批評家信号は、その後、結果ベースの全体的な位相ドーパミン信号によって上下に駆動されるオンライン シナプス トレース値を変調することにより、SNc ドーパミン領域への投影を介して周囲のマトリックス ニューロンでの学習を形成します。したがって、パッチ駆動型のローカル SNc ドーパミンは、モーター シーケンスの実行中にオンラインで発生しますが、結果駆動型のグローバル SNc は、目標に関与したウィンドウの終わりに、最終的なシナプス重みの変化を駆動します。最も効果的で計算的に意味のあるロジックには、次のような PF アクティビティの偶発性も含まれます。

• PF が、この SPN プールが BG 出力の形成にアクティブであったことを示している場合、シナプス トレースは、SNc へのシャント阻害を駆動する直接経路パッチ ニューロンによってエンコードされた正の報酬関連によって割り引かれます (減少されます)。これにより、期待される成功を割り引く基本的なエラー駆動学習原理が実装され、オーバートレーニングが防止され、他の入力への干渉が最小限に抑えられます。興味深いことに、間接経路パッチのアクティビティがトレースに「追加」されます。これは、最終結果が陰性の場合、これらの間接パッチ ニューロンによって信号が送られる否定的な期待が、追加の非難を受ける必要があることを示唆しているためです。

• PF がこの出力経路がアクティブではないことを示している場合、原則として、マトリックス SPN は最終結果 (シーケンスのこの時点) に影響を与えません。ただし、上記のロジックとは反対の方向でも有益に学習できます。具体的には、パッチベースの信号が、特定の領域が特定の時点で正味の報酬期待値を持っていることを示しているにもかかわらず、PF レベルの出力を駆動するほど十分に活性化されていない場合、その寄与を割り引くのではなく、この経路での学習を増幅する必要があります。ただし、この増幅は、全体的な結果シグナルが負である (ドーパミンの低下) 場合にのみ発生するため、この微量寄与の符号は反転されます。

CIN の複雑な動的特性は、その他のさまざまな入力とともに、これらのフィードバック信号の追加のフィルタリングと関与をサポートして、パッチベースの局所的な批評家の学習にさらに焦点を当てることができる可能性があります。たとえば、SC は刺激の新規性信号のソースであり、新規の刺激の周囲で行われるアクションの BG トレース学習を調整できます。

PCore 学習: トレースと単位の割り当て

BG 回路の機能的役割とダイナミクスを上記で理解したので、PCore モデルで使用される学習メカニズムを導入できるようになります。 BG の背外側部と腹内側部は異なる機能と活動モードを持っていますが、機能的な意味合いは多少異なりますが、モデルでは基本的に同じ学習ルールを持っています。現在、学習は線条体ニューロンでのみ行われていますが、将来の研究では、ドーパミン神経支配を受け、異なるドーパミン受容体を持つ回路の他の部分での学習メカニズムも調査される予定です。

腹内側学習

[[#figure_vs-maze]] に示されている VMS ニューロンからの神経活動データで明らかなように、タスクに取り組み、成功するために必要な全体計画をアクティブにするという最初の目標選択の決定と、報酬結果が発生する時間の間には、重大な時間的ギャップがあります。 [[PVLV]] モデルでさらに説明されているように、結果によって次回の目標選択の決定が適切に形成されるように、学習によってこのギャップを埋める必要があります。この [[credit assignment#temporal credit assignment]] 問題は、目標選択ゲーティング時に各シナプスでエンコードされたシナプス タグ信号によって解決され、結果の際にドーパミン信号によって変調されて実際の体重変化を引き起こします。このように、タグは適格性トレースとして機能し、TD 学習ルール ([[reinforcement learning]]) でも使用されています。

学習のトレース/タグ コンポーネントには、次の 2 つの追加要素が含まれます。

• マイナス位相とプラス位相の受信活性化に対して定義された単純なデルタルール誤差項。これにより、線条体ニューロンが線条体まで投射するときに皮質 [[temporal derivative]] 誤差勾配から学習できるようになります。詳細については、[[GeneRec]] および [[kinase algorithm]] を参照してください。

• [[Hebbian learning]] で説明されているように、NMDA 受容体を介したシナプス カルシウム流入への送受信の寄与を反映する、標準的な [[Hebbian learning]] 様のシナプス活動係数。

これらの因子はどちらも現在の [[acetylcholine]] 神経調節レベルによって調節されており、[[PVLV]] で説明されているように、重要な結果関連刺激 (CS および US) または新規刺激の存在に基づいて広範な目標ゲーティング調節を提供します。

{id=”eq_vms-tr” title=”VMS トレース”} \(Tr = \rm{ACh} \left[ x (\rm{CaP} - \rm{CaD}) + \gamma x \rm{CaD} \right]\)

$x$ は送信ニューロンのアクティビティ (その値のより長い時間平均積分として CaD を使用) を表し、$\gamma = 0.6$ はデルタ係数に対するヘブ項の重み係数です。

結果の時点で計算される重みの変化は、ドーパミン変調 DA (バーストの場合は正、ディップの場合は負) に蓄積されたトレース値を乗算したものになります。

{id=”eq_vms-dwt” title=”VMS 重量の変更”} \(\Delta W = \rm{DA} \sum Tr\)

[[#eq_vs-tr]] のトレースの定義では、これは部分的に 3 要素学習ルールであり、ドーパミン RPE 信号、送信アクティビティ、および受信アクティビティによって駆動され、BG 学習のモデルで非常に広く使用されています。ただし、この学習ルールにはドーパミンに加えて追加の ACh 変調が追加され、マイナス-プラス誤差勾配係数が含まれます。

背側学習

DLS 学習ルールには同じ重み変更方程式 ([[#eq_vms-dwt]]) がありますが、トレース コンポーネントは、VMS で使用されるのと同じデルタ ルールとシナプス活動係数の組み合わせ ([[#eq_vms-tr]]) に加えて、上で説明したパッチ駆動のオンライン変調の効果をキャプチャします。

{id=”eq_dls-tr-d” title=”DLS トレース”} \(Tr_a = x (\rm{CaP} - \rm{CaD}) + \rm{ACh}_{cin} (1-p) \gamma x \rm{CaD}\)

ここで、ACh 変調は CIN から発生し、CIN は PF 出力アクティビティとその他の入力によって駆動され、ここではデルタ ルールではなく、シナプス アクティビティ係数にのみ適用されます。パッチベースの寄与は係数 $p$ (デフォルトは 0.5) によって重み付けされ、PF / CIN アクティビティがしきい値を超えているかどうかに応じて 2 つの形式があります。

{id=”eq_dls-tr-pf” title=”DLS PF / CIN がアクティブです”} \(Tr_{pf} = \rm{ACh}_{cin} p \gamma \left[ (1 - P_{d1}) + P_{d2} \right] x \rm{CaD}\)

または事実上オフです:

{id=”eq_dls-tr-off” title=”DLS PF / CIN オフ”} \(Tr_{off} = o p \gamma \left[ P_{d2} - P_{d1} \right] x \rm{CaD}\)

ここで、$o$ はこの弱いオフ係数のスケーリング係数 (デフォルトは 0.1)、$P_{d1}$ は直接 (D1) 経路のパッチ活性、$P_{d2}$ は D2 間接経路の活性です (これらの係数はどちらもパッチ活性の対応するプールの平均活性に基づいて正規化されています)。

{id=”figure_bgdorsal-dad1-trial” style=”高さ:20em”}

アクティブ因子 ([[#eq_dls-tr-pf]]) は、$(1-P_{d1})$ 項を介して SNc ドーパミン ニューロンに対する直接経路阻害のシャント阻害効果を捕捉します。これにより、プールがすでに正しいと予想される範囲 ([[#figure_bgdorsal-dad1-trial]]) まで学習が割り引かれます。 D2 因子を介した LHb DA の間接的な経路変調は、トレースにプラスの影響を与えるため、出力がマイナスの場合はマイナスの期待がシナプスの減少を駆動します (出力がマイナスの場合は小さい傾向になります)。

オフファクター ([[#eq_dls-tr-off]]) は割引を行わず、マイナス記号が適用された D1 - D2 の差を反映する両方の経路間の正味 DA 信号を駆動します。これにより、今回は関与しなかったが、依然としてより高い正の報酬関連があったプールに対する探索的学習が駆動され、最終結果が予想より悪かった場合 (実際には間違ったアクションが選択されたため)、最終的には正になります。

このロジックはやや複雑ですが、上記の方程式のすべての部分は [[BG dorsal simulation]] で徹底的にテストされており、これらのパッチベースの変調信号の追加は、より多くの可能なアクションを含む長いアクション シーケンスを学習できるようにすることに大きく貢献します。

＃＃ まとめ

大脳基底核は、すべての主要なボタンを指で操作する脳の中心部での役割にふさわしく、多くの可動部分を備えた複雑なシステムであり、腹内側から背外側までのさまざまな領域にわたってかなりの程度の機能の専門化が見られます。それにもかかわらず、これらの異なる領域のそれぞれは同じコア回路を共有しており、同じ「コア」PCore モデルがこれらの異なる領域に関連付けられた異なる計算機能に対して適切に実行されることがわかりました。

腹内側線条体 (VMS) のニューロンの特徴的な応答特性 ([[#figure_vs-maze]]) で示されているように、BG 回路のこの領域は、目標選択プロセス ([[Rubicon]] モデルで説明される) と、目標に関与したエピソードのその後の結果の処理にとって重要です。興味深いことに、この目標選択プロセスは、アクションの選択に含まれる作業の多くをプロアクティブな方法で実行するため、DLS の運動関連の処理は、より大きな計画のコンテキスト内で瞬間ごとのアクション実行のより動的なオンライン調整に集中できます。

また、種によって運動制御に対するBGと皮質の影響のバランスが異なるという証拠もあり、霊長類とヒトは運動制御に対して皮質の影響がより強いのに対し、げっ歯類や皮質の発達が低い他の種はBGによってより駆動される。したがって、[[prefrontal cortex]] に対する BG の影響は霊長類にとってより重要である可能性が高く、広範な BG / PFC システムのより完全な全体像を把握するには、このページを参照することを強くお勧めします。

シミュレーション

• [[BG ventral simulation]] は、2 つの基本的な BG モデルのうちのより単純な方で、PCore モデルの基本的なダイナミクスを理解するのに最適な方法です。これは、特定の目標を選択することの相対的なコストと利点を示す皮質入力に基づいて、[[#ventral pallidum]] を介した腹内側線条体および関連する BG 回路における [[Rubicon]] 目標選択プロセスをシミュレートします。

• [[BG dorsal simulation]] は、正しい運動シーケンスが報酬を受け、他の運動シーケンスが報酬を受けない単純な運動シーケンスタスクで、背外側線条体と関連する BG 回路によってサポートされる動的運動制御プロセスを調査します。