MITが新たに発表したIoT用の小型DNNモデル「MCUNet」を紹介！

　MITのHan研究チームがIoTなど小型のデバイスで利用することを想定した新たな機械学習モデル「MCUNet」を提案しました。新たなモデルでは、性能とセキュリティが向上するとされています。

　MCUNetでは、IoTで必要な2つのコンポーネント（マイクロコントローラーでのニューラルネットワークの操作を行う）が提起されています。1つのコンポーネントは、オペレーティングシステムに似たリソース管理を指示する推論エンジンである「TinyEngine」です。TinyEngineは、特定のニューラルネットワーク構造を実行するように最適化されています。この構造は、MCUNetのもうひとつのコンポーネントであるニューラルアーキテクチャ検索アルゴリズムである「TinyNAS」によって選択されます。

概要

●IoTについて

　1980年代にIoTが発明され、現在では多くの産業で利用されています。しかし、IoTデバイスは、多くの場合、マイクロコントローラー上で実行されます。これは、オペレーティングシステムがなく、処理能力が最小限で、一般的なスマートフォンのメモリの1000分の1未満の単純なコンピューターチップです。
　そのため、ディープラーニングなどのパターン認識タスクをIoTデバイスでローカルに実行することは困難です。複雑な分析の場合、IoTで収集されたデータはクラウドに送信されることが多く、ハッキングに対して脆弱になります。

●既存の問題点

　既存のニューラルアーキテクチャ検索手法は、事前定義されたテンプレートに基づいて可能なネットワーク構造の大きなプールから始まり、その後、高精度で低コストのネットワーク構造を徐々に見つけていきます。この方法は基本的で一般的に効果的に機能することがわかっていますが、一方で最も効率的とはいえません。 GPUやスマートフォンなどであればこの手法は利用できますが、メモリがそれらよりも２桁～３桁も小さいマイクロコントローラーに直接適用することは困難であるとされています。そのため、今回アーキテクチャの探索をする「 TinyNAS」と、探索されたモデルを実行をする「TinyEngine」が開発されました。

●MCUNet

　MCUNetは「 TinyNAS」と「TinyEngine」で構成されています。「 TinyNAS」で探索されたアーキテクチャは、「TinyEngine」で実行されます。このとき、不要とされたモデル部分は破棄されるため、コンパイル時間が短縮されます。TinyEngineのテストでは、コンパイルされたバイナリコードのサイズは、GoogleやARMの同等のマイクロコントローラー推論エンジンよりも1.9〜5倍小さかったことが報告されています。またTinyEngineには、ピークメモリ使用量をほぼ半分に削減するin-place depth-wise convolutionなど、ランタイムを短縮するイノベーションも含まれています。

●実験結果

　論文では、ImageNetを利用した画像分類テストが行われました。彼らがテストした商用マイクロコントローラーでは、MCUNetは70.7％を正常に分類しました。（これまでの最先端のニューラルネットワークと推論エンジンの組み合わせでは、54％の精度でした）
　また速度と精度の両方が必要とされる音声と画像における”wake-word” tasks（ユーザーが音声キュー（「Hey、Siri」など）を使用するか、もしくは単に部屋に入るだけでコンピューターとの対話を開始するタスク）で、MCUNetは好成績をのこしました。最先端モデルであるMobileNetV2およびProxylessNASベースのソリューションよりも2.4〜3.4倍高速に実行され、ピークSRAMは2.2〜2.6倍小さくなったとしています。

●応用の展望

　MCUNetであれば、データをクラウド上に転送する必要が減るため、セキュリティ面が重視される個人データ（健康データなど）を活用したサービスへの応用などが期待されています。また、インターネットアクセスが制限されている車両や農村地域のIoTデバイスにディープラーニングをもたらす可能性があります。
　また、エネルギー効率がいいため、今後よりクリーンなAIとして発展することも期待されています。