時系列データ by 第5回 全脳アーキテクチャ若手の会 機械学習勉強会

「全脳アーキテクチャ 若手の会」主催による、「第5回 全脳アーキテクチャ若手の会 機械学習勉強会」のタイムシフトを見たのでそのメモです。

▶概要

• Feed Forward Neural Network
  • Back Propagation
• Recurrent Neural Network
  • Elman Network
    • Back Propagation through time(時間を遡るように誤差が伝播する)
    • long short term memory(LSTM)
      • [進化形]ある画像に対してそのキャプションを自動で求める（Google）
  • Echo State Network
    • どれくらい結合するさせるのか？結構ランダムな結合するが・・・数％〜20%の結合で良いとされている
• Other
  • Time delay neural network
    • 時系列データを保存しておき、FFNNの入力として入れたりとか

全脳アーキテクチャ：汎用なAIを使用しようとしたときに人の脳を参考にしようと・・・

▶時系列を扱うNNの比較

• Time Delay Neural Network (TDNN)
  • 入力するデータが過去数フレーム分
• Recurrent Neural Network (RNN)
  • （Elman Network）だと思っていい
  • 中間層が自己ループ
• Echo State Network (ESN)
  • ランダムな結合を持つリザバーで表現

▶表面的な比較

▶生理学的に時系列を扱うNNを比較

• TDNN
  • 今見えている映像の他に、一瞬前ともうちょっと前と・・・が同時に見える
  • 人の網膜と一次視覚野の間に存在する外側膝状体において速細胞群と遅細胞群があり、2つの経路において時間的差異が存在する！？（仮説）（大阪大学大澤研究室）
• RNN
  • 今までの時系列の文脈を保持しているニューロン群が存在する
  • 海馬におけるCA3自己ループ
• ESN
  • ランダムな結合のニューロンが存在していて、これらが時系列を扱うのに有用
  • 大脳新皮質第一層において横に神経を広げている部位が存在
    • 考える脳考えるコンピュータ6章「新皮質の実際の働き」

▶工学的に時系列を扱うNNを比較（近年の応用例Deep learningを中心に）

• TDNN
  • 導入が簡単。Deep Learningとの相性がいい。
• RNN
  • 状態が保存されているため、ニューロンに意味をもたせやすい？
• ESN
  • リザバーの素子が特定の特徴を与えるとは考えにくいため、情報圧縮の枠組みでは扱いにくい？

▶TDNN（Deep Q-Network）(噂のDQN)

• google mindの成果（2013）
  • 7種類のゲームを学習し、6種類で既存の手法に、3種類で人間に勝利している
  • 入力として過去4フレーム文のゲーム画像（TDNN!!）
• other
  • DNNの角層にループがあるRNN
  • RNNの一種のRBM

▶参考

<<http://wired.jp/2015/02/28/google-deepmind-atari/　動画あり>>

<<http://www.nikkei.com/article/DGXLZO83685140W5A220C1EA2000/　引用>>

★その他議論

▶ニューラルネットから見る時系列の考察

入力部分が時系列を扱っていれば、そのあとは時系列を扱う必要がない。時系列処理はどこかで1回だけ行えば良い？

知覚→海馬→大脳新皮質　における記憶のシステムは海馬が時系列データを扱えば大脳新皮質（モデル）が時系列データを扱う必要はない？？

▶時系列データと脳についての意見

海馬で記憶を貯めこみ、大脳新皮質においてベイズ推定などの予測を行っているのではないか？

まとめると、海馬＝RNNに対応していて、大脳新皮質はDeep Learningみたいなものではないかと言われているが・・・ESNやリキッドステートネットワーク？？などのReservoir Computing

▶いやいや、大脳新皮質でも時系列データを扱っている部分はあるでしょ？的な意見

海馬で時系列データを扱い、大脳新皮質で時系列データを扱わない。というのは入力側を考えればいい。運動を扱う部分において時系列

▶脳が普遍な表現を獲得している＝「例えば、ペットボトルを触っときに小指で触っても親指で触っても、ペットボトルに触れたと脳が反応できる。あるいは、いろんな種類の猫を見た時にそれが猫であると判断できる」