Facebook主催のHateful Memes Challengeの概要と結果を解説!

Facebook主催のHateful Memes Challengeの概要と結果を解説!

はじめに
 Facebookが2020年5月から行っていた文字や写真など表現媒体が複合的なヘイト発言を検出するためのアルゴリズムを競う「Hateful Memes Challenge」の上位入賞者が発表されました。今回はコンペティションの概要と結果についてご紹介します。

Facebook AI Blog
2020/05/12
Hateful Memes Challenge and data set for research on harmful multimodal content
https://ai.facebook.com/blog/hateful-memes-challenge-and-data-set/
2020/12/11
Hateful Memes Challenge winners
https://ai.facebook.com/blog/hateful-memes-challenge-winners/

現況・問題

 Facebookはご存じのとおり世界で最も影響力のあるSNS(FacebookやInstagramなど)を運営する会社です。SNSを世界中の人々に広め、これまでなら作れなかったような新たなネットワークを作ることを可能にし、SNSをきっかけにハラスメントや社会問題が明らかにされ是正されていくという動きを生み出したといえます。現在もFacebookやInstagramなどの影響力は依然として高く、それらを含めたSNSが社会や世界を動かしているといっても過言ではありません。
 しかし、その一方でSNSによる個人に対する誹謗中傷やフェイクニュースの流行などが社会に悪い影響を与えていることも否定できません。FacebookはSNSの運営元としてこうした問題に対する対応を度々求められており、また自社としても健全なSNS運営が大きな利益につながることも認識しています。
 そうした中で、Facebookが特に解決しようとしているのが、SNS内で行われるヘイトスピーチです。現在でも、ヘイトスピーチであると思われる対象は自動で削除したり、規制をかけたりしていますが、まだまだ十分とはいえません。そのため、今回のHateful Memes Challengeを開催するに至りました。

Hateful Memes Challenge

 Hateful Memes Challengeは、Facebookによって行われた文字や映像などを複合して行われるヘイト発言(マルチモーダルヘイトスピーチmultimodal hate speech)を検出するためのアルゴリズムを競うコンペティションです。(Facebookとして初めて主催するオンラインコンテストだったようです。)賞金総額は10万ドル(約1憶円)で、NeurIPS2020コンペティショントラックの一部として受け入れられました。
 このコンペティションにあわせて、マルチモーダルヘイトスピーチを特定するためのデータセットThe Hateful Memes dataを構築し、共有しています。データセットは、テキストや画像などのさまざまなモダリティを組み合わせた10,000以上のヘイトスピーチで構成されています。
 一般にマルチモーダルなものを判別することは、単独のモダリティのものを判別することよりもはるかに難しいとされています。それはAIが基本的に単独のモダリティを対象に構成されているためです。マルチモーダルなヘイトスピーチは、ひとつひとつのレベルではヘイトスピーチとはいえないことがおおいため、判別するのが難しくなっています。例えば、人が誰もいない砂漠の写真と「どれくらいの人があなたを愛しているのか」という文章はべつべつに見れば無害ですが、組み合わせると強烈なヘイトスピーチになることがわかります。

マルチモーダルなヘイトスピーチの例

結果

 コンペティションには、世界中から3300以上の人とチームが参加しました。なお、入賞チームは入賞要件として、すべてのコードをオープンソース化し、結果を再現する方法を概説した学術論文を書くように求められています。

●上位5人
1. Ron Zhu(0.8450)
2. Niklas Muennighoff (0.8310)
3. Team HateDetectron: Riza Velioglu and Jewgeni Rose (0.8108)
4. Team Kingsterdam: Phillip Lippe, Nithin Holla, Shantanu Chandra, Santhosh Rajamanickam, Georgios Antoniou, Ekaterina Shutova and Helen Yannakoudakis -(0.8053)
5. Vlad Sandulescu (0.7943)
※彼らのコードは公開されており誰でも実装可能です。
※順位詳細
https://www.drivendata.org/competitions/70/hateful-memes-phase-2/leaderboard/

●用いられた手法
① VILLA , UNITER , ERNIE-ViL , VL-BERTなどの最先端画像モデルと言語モデルを組み合わせたアンサンブルモデル
②ルールベースのアドオン
③外部知識

まとめ
 Facebookは今回のコンペティションの結果、新たな知見を得ることができ、大幅に精度の上昇が確認されたとしています。Facebookとして、今後もヘイトスピーチを撲滅するための取り組みを行っていくことを表明しています。