NeurIPS2020の３本のベストペーパーを紹介！

はじめに
　NeurIPS2020のベストペーパーについて、概要と委員会による評価をご紹介します。

Best Paper

今年度のNeurIPSのベストペーパーは以下の三本の論文になります。

選考基準

選考基準は以下のようになっています。
①その論文は永続的な可能性を秘めているか？
②新しい（できれば深い）洞察を提供しているか？
③それは創造的で予想外のものであるか？
④将来的に人々の考え方を変えるかもしれないか？
⑤厳密でエレガントだが、その重要性を過剰に主張していないか？
⑥科学的で再現性があるか？研究のより広範な影響力を正確に記述しているか？

選考方法

選考方法は二段階審査になっています。
①最初の段階では、レビュースコアが最も高かった30件のNeurIPS投稿論文を2人の委員会メンバーが読みます。委員会メンバーは、対応する論文のレビューと反論も読みます。この調査に基づいて、委員会はレビュー基準に基づいて際立った 9 本の論文を選択しました。
②第二段階では、委員会メンバー全員がショートリストに載っている9本の論文を読み、審査基準に従ってランク付けを行います。次に、委員会はオンライン上で会合を持ち、最高ランクの論文について議論し、最終的に受賞者の選定を決定しています。

No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium

https://arxiv.org/abs/2004.00603

論文概要

　正規形ゲームで相関平衡に収束する単純で結合されていないNo-Regret Dynamicsの存在は、マルチエージェントシステムの理論において有名な結果である。（具体的には、すべてのプレイヤーが反復される正規形ゲームにおいて、内部後悔を最小化しようとするとき、経験的なプレイ頻度が正規形の相関均衡に収束することが20年以上前から知られている。）
　拡張形(すなわちツリー形)ゲームは、逐次的な手と同時的な手、およびプライベート情報の両方をモデル化することによって、通常形ゲームを一般化したものである。逐次的な性質と部分的な情報の存在により、拡張形相関は通常形相関とは大きく異なる性質を持っており、その多くはまだ研究の方向性が示されていない。
　拡張形相関平衡(Extensive-form correlated equilibrium: EFCE)は、通常形相関平衡の自然な拡張形の対極として提案されている。しかし、EFCEが非連結エージェントダイナミクスの結果として出現するのかどうかは、現在のところ不明であった。本論文では、完全記憶を伴うn人参加型の非零和実形ゲームにおいて、非連結型エージェントダイナミクスの結果としてEFCEの集合に収束する最初の非連結型No-Regret Dynamicsを提起する。
　まず、通常形式のゲームにおける内部後悔の概念を拡張した、拡張形式のゲームにおけるトリガー後悔の概念を導入する。各プレイヤーのトリガーリグレットが低い場合、経験的なプレイ頻度はEFCEに近いものとなる。そこで、効率的なノートリガー・リグレット・アルゴリズムを提案する。本研究では、各決定点での内部後悔を局所的なサブ問題に分解し、各決定点での局所的な解からプレイヤーの大局的な戦略を構築する。

選考委員会評要約

　私たちの決定は他の人に影響を与え、他の人の決定は私たちに影響を与える。合理的な行動に落ち着くためには、この相互依存関係を断ち切って、経済学者が均衡と呼ぶものに到達する必要がある。相関した均衡（CE）は計算が簡単で、よく知られているナッシュ均衡よりもはるかに高い社会福祉を達成することができる。通常の形式のゲームでは、相関均衡の驚くべき特徴は、特定の後悔の概念（いわゆる内部後悔）を最小化する単純で分散化されたアルゴリズムによって、相関均衡を見つけることができるということである。しかし一般に平衡を見つけるための自動化された手順を作成することは、大変困難である。この論文では、学習アプローチを用いて、一般的な相互作用のいわゆる相関のある均衡を見つけるための最初のアプローチを提供している。相関した均衡は、意思決定者に意思決定を勧告する信頼できる外部媒介者を必要とする。相関した均衡の典型的な例は、停止表示灯である。停止表示灯は、近づいてくる車に安全かどうかを伝える。関連する法律がなくても、停止灯の勧告には従うべきである。なぜならば、停止表示灯を無視して運転することは危険な提案であることが誰にでもわかるからである。この論文では、意思決定が複数のステップを含み、意思決定者が世界の状態について部分的に暗黙の了解を得ている場合でも、完全に独立して行動する学習アルゴリズムによって、このような均衡が得られることを示している。このようなアプローチは、利己的なアクターの集中管理が当たり前となっている現代の「ギグ経済」において、強力な意味を持つ可能性がある。

Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nyström Method

https://arxiv.org/abs/2002.09073

論文概要

　 Column Subset Selection Problem (CSSP) と Nystrom method は、機械学習や科学計算における大規模データセットの小さな低ランク近似を構築するための主要なツールの一つである。この分野の基本的な問題は、サイズkのデータ部分集合がどの程度の確率で最高ランクkの近似と競合できるかということである。本論文では、データ行列のスペクトル特性を利用して、標準的なワーストケース解析を超える改善された近似保証を得るための手法を開発する。今回のアプローチでは、特異値の減衰率が既知のデータセット、例えば、多項式や指数関数的な減衰のようなデータセットに対して、有意に優れた近似値を得ることができる。
　また分析で、興味深い現象として、kの関数としての近似係数は、多重降下曲線と呼ぶ、複数のピークと谷を示すことがあることがわかった。今回の研究で確立した下限値は、この挙動が分析の成果物ではなく、むしろCSSPとNystromタスクの固有の特性であることを示している。最後に放射基底関数(RBF)カーネルの例を用いて、改善された境界と多重降下曲線の両方が、RBFパラメータを変化させるだけで実際のデータセット上で観察できることを示した。

選考委員会評要約

　大規模なデータセットの利用可能性が拡大するにつれ、複雑なデータを簡潔に要約できることへの社会の依存度も高まってきている。データ要約は、データを効率的に特徴付けるのに役立つように、データ中の重要な例や属性を特定する問題である。これは、遺伝学のデータセットから遺伝子変異の代表的なサブセットを選択したり、テキストデータベースから最も有益な文書を選択したりするために使用することができる。これまでの研究では、データの要約化は困難な問題であることとされてきた。本論文は、そうした見解を覆すものである。
　大きな行列から小さいが代表的な列ベクトルの部分集合を選択することは難しい組合せ問題であり、カーディナリティ制約付きの決定論的点過程に基づく方法が実用的な近似解を与えることが知られている。本論文では、最良の低ランク近似の上での近似解の近似係数の上下限を導出し、部分集合サイズに対する多重降下の挙動さえも捉えることができる。この論文では、Nyström法の保証を得るために解析をさらに拡張している。これらの近似手法は機械学習に広く採用されているため、大きなインパクト（例えば、カーネル法、特徴選択、ニューラルネットワークの二重降下挙動などへの新たな洞察）を与えることが期待される。
　データ要約問題を難問としているデータセットは病的なものであり、実際には、解釈可能な要約は現実のデータに対してはるかに安価に生成することができる。この研究は、将来のシステムが、正確で、解釈可能で、効率的に生成されたデータサマリーを作成できるようになることを示唆しており、複雑なデータセットを吸収して処理する私たちの能力を大いに助けてくれることが期待される。

Language Models are Few-Shot Learners

https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf
詳しくは『話題沸騰のGPT-3　OpenAI発の革新的なAIを紹介！』https://deepsquare.jp/2020/08/gpt-3/をご参照ください。

論文概要

　言語モデルをスケールアップすることで、タスクに依存しない、少数ショットでの性能が大幅に向上し、時には先行する最先端の微調整アプローチと競合することさえあることを実証している。具体的には、1,750億個のパラメータを持つ自己回帰的言語モデルであるGPT-3を学習し、その性能を数ショットの設定でテストした。すべてのタスクにおいて、GPT-3は勾配の更新や微調整を一切行わずに適用され、タスクと数ショットのデモはモデルとのテキストインタラクションのみで指定された。GPT-3は翻訳、質問応答、クロージングタスクを含む多くのNLPデータセットにおいて高い性能を達成しています。また、GPT-3の数発学習がまだ苦戦しているデータセットと、大規模なウェブコーパス上での学習に関連した方法論的な問題に直面しているデータセットがあることを明らかにした。

選考委員会評要約

　シーケンス内の次の単語の尤度を推定するように訓練された人工知能システムは、「言語モデル」として知られているが、この論文では、これまでに構築された言語モデルの中で最も大きく、最も洗練された言語モデルであるGPT-3について述べている。この論文では、前例のない量の計算とデータを用いて言語モデルを十分に正確なものにすれば、単純な自然言語のプロンプトだけを用いて、追加の訓練なしに、多種多様なタスクを解く能力を得ることができることを示した。（タスクの例としては、トリビア問題の回答、エッセイの作成、映画のレビューが肯定的か否定的かの判断、フランス語と英語の翻訳などがある。）このことは、現場で大きなインパクトを与えることが期待される。著者らは、GPT-3が他のタスクよりも優れているタスクがあることに注意し、その長所と短所を慎重にカタログ化することに論文の大部分を費やしている。本研究のより広範なインパクトについて、非常に広範で思慮深い解説がなされており、NeurIPSコミュニティが行っている研究の実世界へのインパクトをどのように考えるべきかについて、NeurIPSコミュニティのお手本となるかもしれない。また、ほとんど検出できないフェイクニュースの安価な生成や、人種、ジェンダー、宗教などのセンシティブなトピックについてのトレーニングデータのバイアスを反映するモデルの傾向など、この技術の潜在的に有害な意味合いについても検討している。