神戸大学の研究グループは，深層学習モデルを用いて，大脳皮質の広範囲な神経活動を計測した脳機能画像からマウスの歩行や静止といった行動状態を秒単位以下のレベルで高精度に識別することに成功した（ニュースリリース）。

近年では深層学習を用いた神経解読の研究が盛んに行なわれているが，脳内に埋め込んだ電極による神経細胞の電気的活動情報を利用した研究が多く，fMRIやカルシウムイメージングなど機能イメージング画像情報を用いて行動を予測する研究は少ない。

高精度な深層学習モデルを構築するためには，従来からノイズを除去するなどのデータの前処理が重要と考えられており，データを直接読み込ませるエンドツーエンド学習での行動の神経解読は困難とされていた。

研究グループは，神経解読を行なうために，先行研究で報告した仮想環境下において行動中のマウスから記録した大脳皮質のカルシウムイメージングの時系列画像データを使用し，深層学習を用いて，マウスの行動を識別する行動予測モデルを構築した。

深層学習のアーキテクチャには画像認識に有効なCNN（畳み込みニューラルネットワーク）と時系列データ解析に有効なRNN（リカレントニューラルネットワーク）を二層に組み合わせて用いた。

深層学習には5匹のマウスのデータセットを使用しており，モデルを一般化させるため，学習用に3個体，検証用に1個体，テスト用に1個体に分け，すべての組み合わせで解析を行なった。

行動状態の判定に使用される時系列画像データは0.17秒の時間枠に設定した。すなわち深層学習モデルは0.17秒間の脳機能画像情報を用いて，そのタイミングにおける行動状態を判定していることになる。

解析の結果，深層学習モデルは高精度にマウスの行動状態を判定しており，二値分類モデルの評価指標であるAUC値は平均0.95だった。これは全テストデータの約95%が正確に行動状態を判定されたことを示す。

また，深層学習では，モデルがどのように画像データから予測結果を判定しているのか不明であり，その中身の多くはブラックボックスとなっている。その点を克服するため，Cut-out-importanceという手法を考案し，画像データ中に含まれる行動識別に重要な領域を調べた。

その結果，大脳皮質の体性感覚野前肢・後肢領域でのimportance scoreが高く，これらの領域情報だけでも高精度に行動状態を識別することが可能であることがわかった。

研究グループは，今後，行動予測のための深層学習モデルを発展させることで，脳機能画像情報を用いたブレインマシンインターフェースの開発につながるとしている。