41 0 0 0 OA 深層学習と人工知能
- 著者
- 松尾 豊
- 出版者
- 日本認知科学会
- 雑誌
- 認知科学 (ISSN:13417924)
- 巻号頁・発行日
- vol.28, no.2, pp.299-307, 2021-06-01 (Released:2021-06-15)
- 参考文献数
- 32
- 被引用文献数
- 1
This article tries to position deep learning in the intersection of artificial intelligence and cognitive science, as a long quest toward human intelligence. First, the recent development of huge language models obtained by transformer-based methods such as BERT and GPT-3 is introduced. Then, I explain what these models can do and can not do, and why. Two essential problems, which is embodiment and symbol grounding, are shown. In order to solve these problems, deep reinforcement learning with world models are currently studied. Disentanglement is shown to be an important concept to find factors to control. Lastly, I explain my perspective toward the future advancement, and conclude the paper.
言及状況
外部データベース (DOI)
はてなブックマーク (1 users, 1 posts)
Twitter (40 users, 43 posts, 161 favorites)
Bingに聞いたら松尾先生のLLMのレビューが出てきたので読んでた。Transformerモデルというのがブレークスルーらしい。
CNNやLSTMくらいで記憶が止まってた。
https://t.co/0hxDOisUFG
東大松尾先生によると、transformer登場以降のBERTや
GPT等が大規模言語モデルであると言っているように解釈できる
https://t.co/NTiw9ZJ6xx
ちなみに上記の松尾先生の解説特集は以下。すばらしい。
https://t.co/eJnoDcoOCH
松尾研究所、松尾先生のAIと脳・神経科学の公知情報ですと、以下がおススメです。1つ目は無料で読めます
解説特集：深層学習と認知科学, 認知科学（2021）.
https://t.co/u4HJJzRiqu
人工知能と脳科学の現在とこれから, Brain and nerve(2019).
https://t.co/FYKXtgCmdq
あとよむ
解説特集 深層学習と認知科学
深層学習と人工知能
松尾 豊
J-STAGE Articles - 深層学習と人工知能 https://t.co/MLLJb007O9
松尾豊 (2021). 「深層学習と人工知能」『認知科学』28(2), 299-307. https://t.co/6LnN0jPKJ0 (PDF) あとで読む
松尾さんの解説記事。自分が言葉にすることができなかったことが書かれていて、呼んでよかった。
時系列データの異常検知という観点からしか見れていないが、時間の取り扱いの難しさの原因が少し見えた気がする。あと、空間も同じ難しさを持っていると思う
https://t.co/AH6YXoPiWz
今朝松尾さんの「深層学習と人工知能」という解説特集の記事を見つけて、なるほどなあと思ったりして反省した。自分は自然言語処理が専門なのに、この記事の後半半分に当たるような話、あまりよく考えてなかった。読んでみるとよいと思う。
https://t.co/gnhgvjwnXQ
松尾さん
深層学習と人工知能 https://t.co/TJJpMl8CV9