カリフォルニア大学バークレー校が人間の動作を認識できるバイオセンシングとAIを統合したシステムを開発！

はじめに
　カリフォルニア大学バークレー校の研究チームが、人間の生体反応データからハンドジェスチャーを判別することができるAIを搭載した機器を開発しました。将来的に、義手や義足の操作を可能にしたり、一般的な電子機器をより直観的な方法で操作できることが期待されています。

概要

　キーボードを使わずにパソコンを利用するように入力のための機器を介さずに、人間が直接操作することはエンジニアリングにおけるひとつの目標でした。今回、カリフォルニア大学のバークレー校が前腕部につけたセンサーから電気信号を受け取りAIで処理することで、ハンドサインを判別することを可能にしました。高次元センサーを利用することでモデルが利用中も学習し続けることができ、精度の向上が期待できます。
　生体反応を取得するウェアラブル端末とAIの組み合わせは、近く義足を操作したり、ほとんどすべての電子機器との交流を可能にすると考えられます。

公式の紹介動画

背景　

　人間の動きを直接的に理解する方法の研究はひろくおこなわれてきました。すでにコンピュータビジョンの世界である程度方法が確立されていますが、生体反応を利用する方法も個人のプライバシーを保持するという面ではよりよい解決方法のひとつであると研究チームは主張しています。
　今回は生体反応をキャッチするウェアラブル端にAIを組み合わせることで、高精度の判別を可能にしました。

方法

データの収集

　人体の64箇所に電気信号をキャッチする機器をつけて、ジェスチャーと電気信号の関係性をデータとして収集します。

モデルの継続的更新

　ほかのAI同様最初に機器をつけてジェスチャーと電気信号の関係性を学習する必要があります。今回の手法の特徴のひとつは、超次元コンピューティングアルゴリズムと呼ばれる一種の高度なAIを使用して、新しい情報が入ってきたときにモデルが自身を更新することができる点にあります。（リアルタイムのジェスチャー分類のために局所的にニューロンにインスパイアされた超次元コンピューティングアルゴリズムを実装し、異なる腕の位置やセンサーの交換などの可変条件の下でモデルのトレーニングと更新を行います。）たとえば、ユーザーの腕が汗をかいたために特定の手のジェスチャーに関連する電気信号が変化した場合、またはユーザーが腕を頭上に上げた場合など、アルゴリズムはこの新しい情報をモデルに組み込むことができます。これは、ジェスチャー認識では、信号は時間の経過とともに変化し、モデルのパフォーマンスに影響を与える可能性があることを踏まえた対策です。モデルを更新することで、分類の精度を大幅に向上させることができたとしています。

ローカル上での実行

　新しい方法のもう1つの利点は、すべてのコンピューティングがチップ上でローカルに実行される点です。個人データが近くのコンピューターやデバイスに送信されることはありません。これにより、計算時間が短縮されるだけでなく、個人の生物学的データが非公開のままになります。

最大の特徴

　今回の手法はそれぞれでみればすでにある技術であるともいえ、最も特徴的な点は、バイオセンシングと、信号処理と解釈のための人工知能を、比較的小型で柔軟性があり電力バジェットが低い1つのシステムに統合したことであると研究チームは考えています。

実験

　親指を立てる、拳、平らな手、個々の指を持ち上げる、数を数えるなど、13もしくは21の個々の手のジェスチャーを認識させました。
　ジェスチャーごとに1回の試行でトレーニングを行った場合、2人の参加者に対して97.12%の精度で13の手のジェスチャーを分類することができます。21ジェスチャーに拡大しても高い精度（92.87％）が維持され、外部デバイスでの追加計算なしに、条件の変化に応じてモデルの更新を実装することで、精度が9.5％を向上したとしています。