米セントラルフロリダ大学が発表した皮肉を判定するモデルを紹介！

はじめに
　米セントラルフロリダ大学がSNS上の皮肉などをより正確に発見する自然言語処理モデルを開発しました。

概要

　SNSの発達に伴い、人間では対応しきれない量の反応が企業には寄せられるようになりました。自然言語処理分野の発達に伴い、通常の文章であればある程度機械的に正確に処理することができるようになったものの、いまだにうまく対処できないタイプの文章として「皮肉」が存在します。皮肉かどうかは、文単体では決定することができず、文章全体を通じて決定する必要があります。
　今回、セントラルフロリダ大学がSelf-attentionとゲート付き再帰ユニットを組み合わせることで、より高精度で「皮肉」を見つけるモデルを構築しました。

詳細

背景

　現在、TwitterやFacebookをはじめとしたSNS上でのやりとりは非常に盛んになっています。個人間のやり取りはもちろん、商業上の発信なども行われています。企業にとっては成功するために顧客からのSNS上での発信に正しく反応することは最重要項目のひとつになっています。しかし、大量の発信に対して正しく反応することは非常にコストが大きい作業であるため、感情分析AIが必要とされています。
　

モデル概要

　米セントラルフロリダ大学の研究チームがより高精度で皮肉を発見するモデルを開発しました。皮肉を意味するようなパターンを見つけることと、皮肉を意味する文章において重要なカギとなる単語を拾い上げるように学習させました。また、より解釈可能性を示す必要性があることから、Attention mapを分析できることを示しています。

モデル詳細

　multi-head self-attention とゲート付き再帰ユニットによって構成されたモデルを作成しました。multi-head self-attentionで皮肉のカギとなる重要な単語を探し出し、再帰ユニットでカギ単語の長期依存関係を明らかにすることで、精度を向上させます。
　研究チームは、self-attentionを利用することで解釈可能性が高い皮肉を発見するモデルを開発しました。また、様々なデータセットに対して最先端の結果を残しました。Attention mapを分析することで解釈可能性を表示します。

モデル図

実験結果

　TwitterやRedditなどから採集されたデータセットを利用して、学習・精度測定が行われました。

結果は以下のようにすべてのデータセットで既存のモデルよりも高い精度を出すことが出来たことを示しています。
　

結果の解釈

　Attention mapを利用することで、分類に成功した例がきちんと皮肉で利用されるキータームを判別していることがわかります。一方で分類に成功した例ではきちんとキータームを判別できておらず、すべての単語に対して重要度を設定してまったりしていることがわかります。ただし、研究チームはうまく判別できていなかった文章に関してはそもそも人間でも判定するのが難しい文章が相当数あるという見解も示しています。

分類に高い精度で成功した例

分類に失敗した例

まとめ

　皮肉などは前後の文章関係から判定する必要があるため、最近再注目されるようになったMLP型のアーキテクチャよりもTransformer型のアーキテクチャの方が精度改善には寄与すると考えられます。