compcogneuro/sims: README

シミュレーションに戻る

＃ 導入

以前の err_driven_hidden プロジェクトは、難しい問題を解決するには、隠れ層を使用したエラー駆動学習が必要であることを示しました。このシミュレーションは、一般化をサポートするためにエラー駆動学習と組み合わせた場合のヘビアン学習の相補的な利点を示しています。

このプロジェクトでは、より豊富な入力セット、特に self_org で見た水平線と垂直線の同じ組み合わせを含む入力セットに対応するために、すべてのレイヤーのサイズを拡張しました。ただし、この場合、ネットワークにタスクの実行を依頼しているため、出力層もあります。タスクは、入力に存在する行の組み合わせにラベルを付けることであり、それを学習する必要があります。出力ユニットの 1 列目は垂直ラインに対応し、2 列目は水平ラインに対応します。たとえば、一番左の縦線と下から 2 番目の横線を組み合わせたイベント V0_H1 は、V0 の左列の下から 2 番目のユニット、H1 の右列の下から 2 番目のユニットの出力層ターゲットを持ちます。 Lines2 をクリックして、これらのパターンを理解してください。

• [[[sim:Init]]] および [[[sim:Step]]: トライアル] をクリックして、ネットワークに提示されたパターンの 1 つを確認します。ネットワークに正しいターゲット パターンが表示されるため、トライアルの最後には出力層に正しいターゲットが表示されるはずです。 Netview で Act の代わりに [[sim:Phase]] -> [[sim:Phase/ActM]] をクリックすると、正しいラベルが何であるかを通知される前に、ネットワークがマイナス フェーズでラベルを「推測」した内容が表示されます。ネットワークにはまだラベルを学習する機会がないため、これは通常は間違っているはずです。

• Step を Run および [[sim:Step]] に設定をクリックし、[[sim:Train Epoch Plot]] に切り替えて、トレーニング エポックにわたるエラーの割合を表示します。デフォルトの学習ルールが Hebbian であるため、ネットワークの学習に問題があることがわかります。次に、コントロール パネルの学習ルールを Error Driven に変更し、再度 [[sim:Init]] および Step Run をクリックします。ネットワークが純粋なエラー駆動学習を使用してラインのさまざまな組み合わせにラベルを付けることを学習するため、数エポック以内にエラーがゼロになることがわかります。 Netview に切り替えて、Phase -> ActM を確認しながらいくつかのトライアルを実行して、これらが実際に学習されたことを確信できます。 [[sim:Wts]] -> [[sim:Wts/r.Wt]] をクリックし、いくつかの非表示ユニットを見て、体系的な表現を学習しているかどうかを確認します (または、Weights タブに切り替えて、self_org と同様に、すべてのシナプス重みのグリッド ビューを表示します)。

質問 4.10: 隠れユニットは、self_org で行ったように、個々の行を表すことを学習しますか?なぜ、あるいはなぜそうではないのでしょうか？誤差を最小限に抑える際に重みを調整するための学習ルールがどのように設計されているかを説明します。