シミュレーションに戻る

注: このシミュレーションは、PVLV の axon バージョンを使用して後で更新されます。これは大幅に改善されていますが、現在 Web プラットフォームでは利用できません。

＃ 導入

このシミュレーションでは、古典的な条件付けタスク モリックら、2020 における報酬と罰についての学習中に、ドーパミン細胞の発火を制御する際のさまざまな脳領域の役割を考慮した PVLV (一次値、学習値) 学習アルゴリズムを検討します。 これは、rl_cond モデルで検討された計算に対する、より柔軟で生物学的に詳細なアプローチを表します。

ドーパミンの位相的発火には多くの脳領域が関与している VTA (腹側被蓋野) および SNc (黒質、 網状部）。 PVLV モデルは、これらの領域の最も重要な部分からの貢献を、一貫した全体的な計算体系内に統合します。 以下を含むフレームワーク: 1) 扁桃体の複数のサブ領域、領域 ポジティブな感情とネガティブな感情の両方の処理に長い間関与してきた 感情。 2) 腹側線条体 (VS、側坐核、NAc を含む) 内の複数の経路 感情表現の多くの側面において重要です。 3) 側面 手綱核 (LHb) 経路は、ドーパミン ニューロン活動 松本＆彦坂、2007。松本＆彦坂、2009 の抑制的な一時停止 (ディッピング) の原因となる基質として最近特定されました。

モデルの基本的な機能は、パブロフの条件付けタスクで見ることができます。中立的な手がかり (条件付き刺激、CS) が報酬または罰 (無条件刺激、US) とペアになっており、結果として条件付き反応 (CR) が獲得されます。たとえば、パブロフの有名な犬のおいしい食べ物の報酬を期待して唾液を分泌するベルの音や、身体が冷える前に凍りつく光の発生などです。ショックを受けた。重要なことに、最初は予期せぬ US で発生する一時的なドーパミン反応が、代わりに CS の時点で発生するようになります。 PVLV は、ドーパミンシグナル伝達の変化を引き起こす神経生物学的メカニズムをモデル化し、このシステムがパブロフ条件付けの行動発現の多くを説明できることを提案しています。また、被験者は特定の CS を経験した後、「特定の」US の差し迫った発生を予期するようになり、眼窩前頭皮質 (OFC) における作業記憶のような目標状態の形で予期される US を表すという考えも重要です。これは、PVLV フレームワークを、感情的な結果を単に良いものとして扱うより抽象的なモデルとは区別します。 悪い。

PVLV ネットワークの概要

PVLV モデル OReilly 他、2007 の背後にある包括的な考え方は、報酬学習の 2 つの個別の側面の基礎となる 2 つの個別の脳システム、つまり Primary Value (PV) システムと Learned Value (LV) システムが存在するということです。具体的には、腹側線条体は US 結果を期待することを学習し (PV 学習)、この期待と経験した実際の US 結果値との差異を反映する相性ドーパミン信号を引き起こします。この差は、報酬予測誤差またはRPEと呼ばれます。同時に、扁桃体は CS を米国の結果 (報酬と罰) に関連付けることを学習し、新しい CS 値の関連付け (LV 学習) を獲得します。この分業は、かなりの量のデータ ヘイジーら、2010 と一致します。現在のモデルは、扁桃体と腹側線条体の回路を非常に精巧に表現しており、これには食欲処理と嫌悪処理の経路を明確に分けているほか、予想よりも悪い結果をもたらすドーパミン細胞の発火（ディッピング）の停止を促す側手綱（LHb）の中心的な役割も組み込まれている。図 1 は、モデルの全体像を示しています。

図 1: 扁桃体の LV 学習値コンポーネントと腹側線条体 (主に側坐核、NAc) の PV 主要値コンポーネントを含む、PVLV モデルの主要コンポーネントの簡略図。 LHb: 外側手綱核、RMTg: RostroMedial Tegmentum、PPTg: PendunculoPontine Tegmentum、LHA: 外側視床下部、PBN: 腕傍核。 実装の詳細な図と説明については、PVLVコード を参照してください。

基本的な食欲のコンディショニング

私たちは、古典的な条件付けの最も単純なケースである、基本的な食欲条件付けから調査を開始します。 Stim_In 層で表される中立刺激は、PosPV 層の報酬 (米国) とペアになっています。 1 つの CS (A; Stim_In の 1 番目のユニット) は 100% の確率で報酬 (たとえば、一定量の H2O) とペアになりますが、2 番目の CS (B; 2 番目のユニット) の後に同じ量の報酬が続くのは 50% の確率だけです。学習を通じて、PVLV ネットワークの層は、VTAp 層と VTAn 層のドーパミン細胞の発火レベルを変更することを学習します。 VTAp 層は、VTA および SNc で通常応答するドーパミン細胞を表し、PVLV モデルの主な焦点です。 VTAn は、明確なバーストで嫌悪性 US に反応することが最近示されたドーパミン細胞の小さなサブセットを表しますが、その機能的挙動はこれまでのところ十分に特徴付けられておらず、現時点では PVLV の学習に影響を与えていません。シミュレーション中、トレーニングの初期段階では、当初予期せぬ報酬に対して VTAp で大規模なドーパミン バーストが発生しますが、トレーニングを続けるとこの反応は減少し、LV (扁桃体) システムが CS-US 偶発性を学習するにつれてドーパミン バーストが徐々に CS の時間に移動することがわかります。

ヒント: このシミュレーションでは、ユーザーがステップ サイズの Grain (例: Cycle、Quarter など) と一度に実行するステップ数 N の両方を設定できる柔軟なステップ メカニズムが使用されています。たとえば、Grain を Trial および N 10 に設定すると、クリックごとに 10 回の試行が実行されてから停止します。

• まず、タスク バーの左端のボタンで PosAcq が選択されていることを確認します (他のものが表示されている場合は、ボタンをクリックしてドロップダウン メニューから PosAcq を選択します)。 また、タスク バーで StepGrain ボタンを見つけ、それが AlphaFull に設定され、StepN が 1 に設定されていることを確認します。 [NetView] タブがアクティブで、ビジュアライザ パネルにネットワークが表示されていることを確認します。 Init をクリックしてから StepRun を 1 回クリックして、1 アルファ サイクル (= 100 サイクル) をステップ実行します。 StepRun をもう一度クリックすると、Stim_In および Context_In 入力層がアクティブになることが確認できます (t1 タイムステップ)。 StepRun をさらに 2 回クリックして、t3 タイムステップに移動します。

これで、PosPV レイヤーの最初のユニットがアクティブになり (A トライアルを想定しています。B トライアルの場合は PosPV がオンになっていない可能性があります)、ネットワークに与えられる特定の種類の報酬を表します。また、報酬が提示されたときに、水平 (時間) 次元に沿ってどの USTime_In ユニットがアクティブであるかにも注目してください。 USTime の各水平行は、眼窩前頭皮質 (OFC) にあると仮定される時間的に進化する表現をエンコードします。これにより、ネットワークは CS と個々の報酬または罰の間の特定の時間的偶然性について学習できます。全体として、このスキームは、 rl_condモデル。

• StepRun をさらに数回クリックして、A (報酬 100%) と B (50%) のトライアルを十分に実行し、入力がどのように異なるかをよく理解します。

特に、アクティブな USTime_In ユニットが、実際の報酬配信後のタイムステップで最下位/前景の行に「ジャンプ」していることが観察される場合があります。これは、米国自身がその後の米国の出来事を予測できるという考えを反映した、その米国の「次の」出来事を予想してストップウォッチをリセットするようなものと考えることができます。結局のところ、いくつかの果実があるところには、さらに多くの果実がある可能性が高いのです。

• ビジュアライザの [TrialTypeData] タブの表示に切り替えて、タスク バーの Run (今回は StepRun ではありません) をクリックしてトレーニングの実行を完了します。

いくつかの主要な層 (さまざまな脳領域) に対してプロットされたアクティビティが表示されます。 3 つのトライアル タイプが一緒に表示され、学習が進むにつれてトライアルの各ブロックの後に更新されます。 CS A が報酬の確率を 100% と予測した試験を左側に示します。 CS B が 50% の確率でのみ報酬を受け取る場合、2 つの試行タイプがあります。1) 報酬が省略された場合。 2) 報酬が配達されたとき。

ネットワークがトレーニングされるにつれて、まず左側の CS A (100%) トライアルに注目し、特に VTAp アクティビティ (黒い実線) に注目してください。報酬 (US) が提供されると、最初に大きなピーク (相性ドーパミン) が見られるはずです (A_Rf_POS_t3; CS A = 正の強化、タイム ステップ 3)。時間の経過とともに、VSPatchPosD1 (緑の実線) のアクティビティが増加するにつれて、このピークは減少します。これは腹側線条体のプライマリバリュー（PV）基質がUSを予期することを学習しており、VTAにシャントのような抑制を送り、バーストを軽減します。この基本的なダイナミクスは、本章で説明した標準的な Rescorla-Wagner デルタ学習ルールを反映しています。

また、VTAp アクティビティが徐々に増加することにも注意してください。 A_Rf_POS_t1 タイムステップ。これは、A スティミュラス (CS) がオンになるときです。 CEl_Acq_Pos_D1 活動 (扁桃体の一部、赤い実線) もそのタイム ステップで増加することに注意してください。これが CS 発症時の VTAp バーストを引き起こし、CS と US を関連付ける扁桃体での学習値 (LV) 学習を反映しています。この学習は、US の時点で相性ドーパミン信号によって促進され、腹側線条体での PV 学習によりその信号が減少するため、LV 経路での学習も減少します。

したがって、rl_cond モデルの 1 つの TD 方程式から生じる、段階的ドーパミン発火の 2 つの基本的な側面は、実際には、協調して動作する 2 つの脳システムから現れます。これらは、正の価数を獲得するための重要な経路です。一部の層の名前にある「D1」は、シナプス後ドーパミン受容体のD1クラスが、直前にたまたま活性化していたグルタミン酸作動性シナプスを強化することによってドーパミンの増加に反応するという事実を反映していることは注目に値します。

次に、50％報酬の場合を詳しく見てみましょう。

※ネットワークが自動停止していない場合は、ツールバーのStopをクリックしてください。 TrialTypeData がまだ表示されている状態で、ネットワークに Init が表示され、次に Run が表示されるので、今度は 50% のトライアルを視聴できます。

今回は右側の 2 つのトライアルに焦点を当て、2 つのトライアル タイプについて時間の経過に伴う VTAp アクティビティの進行を観察します。どちらの場合も、t3 でいずれかのトライアルで低下が見られる前に、t1 タイムステップで VTAp アクティビティが増加し始めることがわかります。これは、ディップを引き起こす報酬への期待を育むまでに時間がかかるためです。これは、B トライアルの CS 発症 VTAp アクティビティが、報酬が半分しか得られず、最初は報酬の大きさだけを反映しているにもかかわらず、最初は A トライアルの VTAp アクティビティを反映している理由でもあります。トレーニングが進行するにつれて両方のトライアル タイプを観察し、報酬の期待値を反映してシグナリングのバランスがどのように変化するかに注目してください。 CS B の開始によって駆動される VTAp アクティビティは約 0.5、つまり CS A の半分に落ち着きます。同様に、タイムステップ t3 での報酬の配信では VTAp アクティビティが約 0.5 になりますが、報酬の省略では -0.5 のディップが生成され、どちらも報酬確率が 50% であるため、期待値 0.5 を反映しています。

• 必要に応じて Stop をもう一度表示し、その後 NetView の表示に切り替えて、学習された重みの一部を調べることができます。左側の境界線に沿った垂直リボンで r.Wt をクリックし、次にネットワーク自体で、表示の右下にある VSPatchPosD1 レイヤーの最初のユニット (4 つのうち) をクリックします。つまり、LHbRMTg のすぐ上です。

質問 8.7: VSPatchPosD1 は USTime_In 層のどのユニットから重みを受け取りますか?また、これらは報酬が提示されたときにアクティブだったユニットと同じですか?これらの重み (USTime_In から VSPatchPosD1 まで) により、ネットワークはどのようにして報酬が期待される時点でのドーパミン バーストを軽減できるのでしょうか?