カリフォルニア大学サンディエゴ校がナノサイズのニューラル計算ができるハードウェアを発表！

はじめに
　米カリフォルニア大学サンディエゴ校の研究チームが、より省エネルギーかつ省面積で、ニューラルネットワークの計算のために利用できるハードウェアを開発しました。

概要

　現在、ニューラルネットワークは性能向上を目指し巨大化される傾向にあり、結果としてエネルギー効率の向上やチップ面積の効率化などは二の次にされてきました。今回、カリフォルニア大学サンディエゴ校がエネルギー効率や面積を大きく改善するため、ニューラルネットワークとして利用できるナノサイズのデバイスを開発しました。

詳細

これまでの問題点

　現在、ニューラルネットワークに関しては、性能向上を主眼とした研究が主流です。性能の向上のためにはモデルサイズを大きくすることが重要な要素になるため、具体的な研究の中心はいかにモデルを大きくできるか、ということにありました。既存のニューラルネットワークでは、メモリと特別なプロセッサー間でデータの移動をする必要があるため、強力なコンピューティングパワーと大規模な回路を必要としています。結果として、無駄の多いハードウェアとモデルになっているという問題点が以前から指摘されてきました。
　

今回の研究

　カリフォルニア大学サンディエゴ校の研究チームが、ニューロンのように、入力値を活性化するまでを効率的に計算ができるナノサイズのデバイスを開発しました。このときの活性化関数として、ReLU関数が実装されています。

　この機能を実装するためには、抵抗が徐々に変化するハードウェアが必要となります。そのため、モット転移と呼ばれる現象を利用しています。デバイスは絶縁状態と伝導状態を徐々に切り替えることができ、小さな熱で行うことができます。
　より具体的に、モット転移が、二酸化バナジウムのナノメートルの薄い層で起こります。この層の上には、チタンと金で作られたナノワイヤーヒーターがあり、電流がナノワイヤに流れると、二酸化バナジウム層がゆっくりと加熱され、絶縁から導電へのゆっくりとした制御された切り替えが行われます。

　デバイスを実装するために、シナプスデバイスアレイとともに、いわゆる活性化（もしくはニューロン）とよばれるデバイスアレイを製造しました。次に、二つのアレイをカスタムプリント回路基板に統合し、それらを接続して、ニューラルネットワークのハードウェアバージョンを作成します。

　開発されたデバイスは、既存のCMOSベースのハードウェアよりも100〜1000倍少ないエネルギーと面積でニューラルネットワーク計算を実行できます。

　実験では統合されたハードウェア基盤で畳み込み操作が可能であることが明らかになっています。また具体的に簡単な物体検出なども可能になっていることが示されています。技術的にはより高度な顔認識や自動車の物体検出なども可能なはずであるとされています。

まとめ

　ニューラルネットワークの発展に伴い、周辺研究も活発化しています。ニューラルネットワーク専用のチップだけでなく、より具体的なモデル（例えば、Transformer）専用のチップなども開発されています。今回の研究でより効率的かつ小さなチップの開発が一歩前進したことで、あらゆるものにニューラルネットワークが搭載される未来がまた一歩近づいてきたといえます。