文章を読んでいるときの目の動きは、滑らかとは言えない。ページ上を行ったり来たりすることもあれば、意外性のある言葉やわかりにくい単語の書かれた箇所から離れられないこともある。読み違いの原因になるものの、わかりきった内容のところはざっと通り過ぎたり、ある表現によって気持ちが強くかき立てられれば瞳孔が大きくなったりする。
このように、目はミリ秒単位で動いているが、その動きは普段は意識されないものだ。ところが、心がどのように言語を処理するのかを研究している心理学者にとっては、この不規則な動きが、脳というブラックボックスをのぞき込むための“窓”になる。
「人間が何かを読んでいるときの視線は、コンピューターに読む能力を学習させるという別の課題に役立つ可能性があります」。こう考えるのは、スイス連邦工科大学チューリッヒ校の大学院生ノラ・ホーレンシュタインだ。
研究者らは、人工のニューラルネットワークをさらに脳に近づける方法を模索し続けているが、ノイズが多い脳波を理解するのは難しい。そこで、ホーレンシュタインは脳波ではなく視線に注目している。
彼女は、目の動きと、脳波スキャンで集めた脳の信号とを組み合わせたデータセットを2018年に作成した。ニューラルネットワークが言語を認識する方法を改善するパターンを見つけるのが狙いだ。
「人間らしい要素をもう少し加えることによって、よりよい結果が得られるのではないかと考えています」と彼女は話す。
時間と手間のかかる機械学習
ニューラルネットワークは、機械が言語を理解する方法を大幅に改善させてきた。しかし、それには巧妙にラベル付けされた大量のデータが必要となり、時間や労力を要する。
そしてまた、こうしてつくられた機械はしばしば人間がもつような常識に欠けており、いわばブラックボックスのようだと言ってもいいだろう。そこで、研究者たちは、法則と直感をコード化することによって、ニューラルネットワークを正しい方向に導く方法を探し求めている。
今回の研究でホーレンシュタインは、人間が文章を読んでいるときの体の動きから集めたデータが、ニューラルネットワークの性能向上に役立つかどうかをテストした。
彼女は自らが作成したデータセットを利用して、研究対象となる文章の最も重要な部分にニューラルネットワークを導くことを、18年秋にコペンハーゲン大学と共同で試みた。この試みをディープラーニングにおいて実践するためには、いわゆる注意機構（attention mechanisms）という方法を用いるのが一般的だ。
しかし、それを成功させるには大量のデータが必要になる。まず研究者たちは、人間の目がひとつの言葉をどれぐらいの時間眺め続けるかというデータを加えた。これによってニューラルネットワークが、人間と同じように文章の重要な箇所に焦点を合わせることができる。こうした視線の動きに関する情報は、ヘイトスピーチを特定するほか、感情の分析や文法的ミスの発見など、さまざまなタスクに役立つことがわかった。
さらに、視線の動きに関するより多くのデータを追加することで、ニューラルネットワークが場所や人など実在するものを特定する能力を向上させるという事実も、彼女はその後の研究で発見した。目は、ある言葉とほかの言葉との関係性を理解するために、該当する単語と単語の間を素早く動くといったデータが、その一例である。
「直感」という人間らしさ
珍しい言語や、テキスト要約のような読解における機械学習では、手動でラベル付けする作業が必要になる。しかし、人間の視線の動きに関するデータを使用すれば、こうした手動の作業負担を減らすことができると、ホーレンシュタインは期待している。
もっと言えば、視線の動きに関するデータを利用することは出発点にすぎないと、彼女は考える。脳の活動におけるノイズのなかからより関連のある信号を研究者たちが発見するのと並行して、ゆくゆくは彼女が集めた脳波データを用いて視線の動きに関するデータを補完することが望ましいという。
「視線の動きが情報になるという事実は明白です」。こう話すのは、ペンシルヴェニア大学のコンピューターサイエンス教授であるダン・ロスだ。彼によると、人工知能（AI）の研究では、とめどなく増え続ける膨大なラベル付けデータを使用するのが主流だが、こうしたやり方には持続可能性がない。視線という人間がもともともっている信号を用いることは、機械をいまよりもう少しだけ直感的にするための興味深い手法だと指摘している。
ニューラルネットワークの進歩に期待
一方で、「視線の動きを追跡したからといって、コンピューター科学者がアルゴリズムを構築する方法に変化が生じる可能性は低い」と、マイクロソフト傘下にあるAI関連企業Semantic Machinesの研究者ジェイコブ・アンドレアスは主張する。
視線の動きに関するデータは収集するのが難しい。専用の研究設備が必要であるほか、それらを継続的に再計測しなければならない。また、脳波の記録はさらに面倒な作業だ。30分ごとに湿らせなければならない粘着性のプローブ（探針）を使う必要がある。これらの作業をすべてきちんと進めても、脳の信号はあまり明確に収集できない。
これに対して、手動によるテキストのラベル付け作業の多くは、時間もお金もそれほどかけずに進めることができる。アマゾンのウェブサーヴィス「Mechanical Turk」のようなクラウドソーシング・プラットフォームを利用すればいいのだ。
しかし近い将来、こうした状況が改善されることをホーレンシュタインは期待している。例えば、ウェブカメラやスマートフォンのカメラの性能が高まれば、家庭で読書している被験者から視線の追跡データをあまり手間をかけず収集できるようになるといった具合だ。
何はともあれ、マシンを改善していくことで、人間の脳を理解することにつながるかもしれない。研究者たちはニューラルネットワークをくまなく調べ続けている。大量のデータに基づくパターンマッチングというよりも、むしろ人間のような直感を利用している傾向を見つけ出すためだ。
視線の動きと脳波信号のどのような要素が、ニューラルネットワークの性能を改善するのかを観察することは、おそらく人間の脳信号の解明につながるだろう。ニューラルネットワークは、人の心を表すひとつのモデルのようなものになる可能性がある。
TEXT BY GREGORY BARBER
TRANSLATION BY TOMOKO MUKAI/GALILEO