ヒューストン大学による機械学習における「敵対的な例」に関する論文を紹介!

ヒューストン大学による機械学習における「敵対的な例」に関する論文を紹介!

はじめに
 ヒューストン大学が発表した、機械学習における「誤作動」、特に人為的にべつの機械学習ネットワークで作られる「敵対的な例」に関する研究論文をご紹介します。

大学公式HP(2020/11/23付け)
Misinformation or Artifact: A New Way to Think about Machine Learning
https://uh.edu/news-events/stories/2020/november-2020/11232020buckner-ai-artifacts.php
論文(2020/11/23付け)
Understanding adversarial examples requires a theory of artefacts for deep learning
https://www.nature.com/articles/s42256-020-00266-y
目次

概要

 ヒューストン大学の哲学准教授であるCameron Buckner氏が、機械学習が誤作動などを起こしてしまう背後にある原因として一般的に仮定されているものが誤っている可能性を指摘しました。失敗の原因だと仮定されているものに対する理解を深める必要性を提言しています。
 一般的に機械学習分野では、ある機械学習ネットワークで実際に誤作動を起こしてしまう例の多くが、別の機械学習ネットワークによって作り出された「敵対的な例」であることがほとんだとされています。そのため、実際に何かしらの機械学習ネットワークを運用する際には、そうした敵対的な例を作りだすべつの機械学習ネットワークを構築することでよりロバストなネットワークを作成しています。
 今回の研究はこうした「敵対的な例」による誤作動は単純な判別ミスというよりも、ネットワークが処理するように要求されたものと、実際のパターンとの間の相互作用によって引き起こされるものである可能性がある、というのが今回の研究の指摘です。つまり、「敵対的な例」による誤作動と単純に間違ったものを同一のカテゴリーで処理することはできないのではないか、ということです。
 敵対的な例は単純に判別することが難しい例というよりも、人為的に作られたパターンがモデルの構造と干渉して誤作動を起こしてしまっていることを意味しています。これは人間には理解できないある種のパターンを機械学習ネットワークが見出していることも意味しますが、このことをどのように受け取るべきかということをより調査する必要があるとしています。人間には見いだせないだけで有用な法則性があるものなのか、それとも人間が作り出した機械学習モデルがそのことで生み出してしまったただのパターンなのか、ということを見定める必要があり、今後の重要な研究テーマであるとしています。