- 著者
- 柴田 克成 後藤 祐樹
- 出版者
- 日本認知科学会
- 雑誌
- 認知科学 (ISSN:13417924)
- 巻号頁・発行日
- vol.24, no.1, pp.96-117, 2017-03-01 (Released:2017-09-01)
- 参考文献数
- 111
It is propounded that in order to avoid the “frame problem” or “symbol grounding problem” and to create a way to analyze and realize human-like intelligence with higher functions, it is not enough just to introduce deep learning, but it is significant to get out of deeply penetrated “division into functional modules” and to take the approach of “function emergence through end-to-end reinforcement learning.” The functions that have been shown to emerge according to this approach in past works are summarized,and the reason for the difficulty in the emergence of thinking that is a typical higher function is made clear. It is claimed that the proposed hypothesis that exploration grows towards think-ing through learning, becomes a key to break through the difficulty. To realize that,“reinforcement learning using a chaotic neural network” in which adding external ex-ploration noises is not necessary is introduced. It is shown that a robot with two wheels and a simple visual sensor can learn an obstacle avoidance task by using this new reinforcement learning method.
2 0 0 0 OA 時間軸スムージング学習
- 著者
- 柴田 克成 岡部 洋一
- 出版者
- The Institute of Electrical Engineers of Japan
- 雑誌
- 電気学会論文誌C(電子・情報・システム部門誌) (ISSN:03854221)
- 巻号頁・発行日
- vol.117, no.9, pp.1291-1299, 1997-08-20 (Released:2008-12-19)
- 参考文献数
- 9
In order to realize the mapping from spatial information to temporal information, Temporal Smoothing (TS) Learning is proposed. In this learning, the output of a learning unit, to which sensory signals are given as input, is trained to be smooth along time. In other words, the learning unit is trained so as that the second time derivative of the output itself becomes 0.This learning can be applied to integrate local sensory signals into an analog spatial signal. It also can be used that an agent learn evaluation function in delayed reinforcement learning on behalf of TD Learning(8)(7) when only one target state is chosen. When a neural network was employed as a learning unit and visual signals were given as inputs directly, the hidden neurons in the neural network represented spatial information and had a adaptability of changing the representation according to the agent's motion characteristics.
2 0 0 0 OA 強化学習による個性・社会性の発現・分化モデル
- 著者
- 柴田 克成 上田 雅英 伊藤 宏司
- 出版者
- 公益社団法人 計測自動制御学会
- 雑誌
- 計測自動制御学会論文集 (ISSN:04534654)
- 巻号頁・発行日
- vol.39, no.5, pp.494-502, 2003-05-31 (Released:2009-03-27)
- 参考文献数
- 21
- 被引用文献数
- 3 7
In this paper, a concept of individuality and sociality is introduced as a method to avoid conflicts of individual interests in multi-agent systems. It is considered that each agent has its individuality when the conflicts are resolved by making its own mapping from the sensory input to the action output. On the other hand, each agent has sociality when the conflicts are avoided by some common input-output mapping, which is commonly called rules. A conflict avoidance task in which passengers are getting on and off a train are taken as an example, and the emergence processes of both behavioral characters are explained. Furthermore, it is shown that the differentiation of the agent into one of them is adaptively realized by reinforcement learning based on local rewards according to the asymmetry of environment, number of agents, identification of the other agents, or physical ability of agents.
本研究では、ネットワークの振動現象における振動振幅および周波数情報の、モデレ-ショニズムによる学習、および、時間スケールとして、より微視的なパルス時系列の時間相関情報の学習について研究を行っている。モデレ-ショニズムとは、生体は適当なレベルの入出力信号を好みそのレベルに近い入出力信号を築くように学習するとしたフィードバック学習の一種であるが、さらに環境の変動を積極的に利用する方向に改良した、振幅に対するモデレ-ショニズムを提案した。この信号振幅モデレ-ショニズムを用いて、自己結合などのフィードバック結合を有するニューロンを含むネットワークに関してフィードバック結合の効果を検討し、さらに自励発振しうる回路に外界から信号が注入された場合の挙動について、シミュレーション解析を行った。結果として、自励発振が可能なネットワーク構成を示し、そのネットワークに対して外界からの信号を注入した場合、微小入力時にはネットワーク自身の自励周波数で発振し、信号強度を増加するにしたがって、外部周波数に引き込まれることを示した。さらに外部周波数に引き込まれたネットワークは、外部入力を遮断した後にも、外部入力周波数で発振することを示した。より短期の時間スケールにおけるパルス時系列に対する、時間相関学習について提案を行った。ニューラルネットワークにおいてパルス列伝送を考えた場合、複数のパルス列の自己あるいは相互相関関数によって、情報を表現することが可能である。これらのパルス列の時間相関に表現された情報をネットワークに記憶させるために、最急降下学習およびトポロジカル・マッピング学習を行った。結果として、2系列に対する相関について最急降下学習によって、さらに3系列以上の相関についてトポロジカル・マッピングによって学習が可能であることを示した。
1 0 0 0 OA 時間軸を考慮したニューロベース強化学習によるシンボル処理創発への突破口の模索
膨大な時空間情報の中での効率的な学習は,実世界での高次機能創発の鍵を握る。本研究では,特に時間軸の扱いに注目した。事象の重要度を「主観的」に判断し,過去の事象に対する学習に利用する「因果トレース」の考え方を提唱し,状態価値の学習で飛躍的に学習性能が向上した。また,「概念」は行うべき行動の差に基づいて形成されるとの考えの下,強化学習によってリカレントネット内で離散的・抽象的な状態表現が形成された。さらに,自律的なコミュニケーション学習によって物体の動きの情報を伝達できることを示した。時間軸の処理に対して新たな展望をもたらしたが,シンボル処理創発にはダイナミクスの学習能力の更なる向上が必要である。