MITがより変化に対応できる時系列データ用再帰型ニューラルネットワークを提案！

はじめに
　MITが自動運転や医療診断時の意思決定に利用できる新たなタイプのニューラルネットワークを開発したことを発表したので、ご紹介します。

概要

　MITの研究チームが開発したのは、学習段階だけで学習するのではなく、そのタスクそのもので学習し続けるニューラルネットワークです。通称「液体」ネットワーク（“liquid” networks）は、新たなデータの入力があるたびに基礎となる方程式を変更することで、継続的に適応することを可能にします。この改良によって、医療診断や自動運転など、常に新たなデータが入ってくるようなものの意思決定を支えることが可能になります。
　今後、ロボットコントロールや、自然言語処理、動画処理などのいわゆる一連の時系列データの処理を飛躍させることが期待されています。

背景

　この世界のすべてが連続性を有しています。そのため、時系列データの処理は、この世界を理解することにつながっているといっても過言ではありません。またデータは常に変化を続けていますが、既存の時系列データを処理するアプリケーションの多くは、データがどのように変遷するかまで予測できない可能性があります。そのため、予測結果が大きくはずれてしまう可能性があります。
　今回、研究チームは現実世界の変動を受け止められるニューラルネットワークを開発しました。

モデル

　研究チームは、微細な存在である線虫からヒントを得ました。線虫は、302個のニューロンしか存在しないにもかかわらず、想像よりも複雑なダイナミクスに対応している可能性があります。線虫のニューロンの発火やほかのニューロンとの結びつきに注意を払うことで、ネストされた微分方程式の結果に基づいて、パラメーターを時間の経過とともに変化させることができました。
　モデルの特徴は、柔軟性と解釈性にあります。
　普通のニューラルネットワークは、学習によってモデルを修正させるため、現実下での新たなデータに対する適応能力が低下します。しかし、新たな入力に対して変化できるようにすることで、未知のデータやノイズが多いデータに対してロバストになることができる。
　それだけでなく、解釈性があがるという利点もあります。構築しているニューロンがすくないため、ひとつひとつの表現しているものがわかりやすくなっているため、何が原因なのかを解釈しやすくなります。

※詳細　
　正確に表現すると、新しいクラスのリカレントニューラルネットワークモデルを提言しています。学習システムのダイナミクスを暗黙の非線形性によって構築するのではなく、非線形インターリンクゲートを介して変調された線形一次力学系のネットワークから構築します。結果として得られるモデルは、数値微分方程式ソルバーによって計算された出力を持ち、隠れた状態に結合された変化する時定数を持つ力学系を表現することになります。これらのニューラルネットワークは、安定的・固定的な挙動を示し、ニューラル常微分方程式の中で優れた表現力を持ち、時系列予測タスクでの性能向上をもたらします。
　

実験結果

　大気化学からトラフィックパターンに至るまで、データセットの将来の値を予測するタスクで、他の最先端の時系列アルゴリズムを数パーセント上回りました。これは他のモデルがスケールアップすることで、精度を向上させたのに対して、スケールダウンさせて精度を向上させることに成功したという点でさらに評価できます。