Kaggleで銀メダルをとってしまうGoogleによる最新AutoMLを紹介！

はじめに
　GoogleがAutoMLによる時系列予測で確かな精度がもたらされたことを発表しました。今後、エンジニア以外の人々でも手軽にMLを利用することが可能になる可能性が予測されます。

概要

○背景
　時系列予測は、小売りやサプライチェーン、エネルギー、金融などいくつかの業界で常に必要とされている分野です。現在のMLベースの予測ソリューションの多くが、専門のエンジニアによって手作業で構築されたモデルであり、専門知識がない人が扱うにはハードルが高いものとなっています。そのため、Googleでは高度な専門知識がなくても利用できるAutoMLによる時系列予測モデルを開発しました。

○AutoMLとは
　AutoMLとは、MLモデルの作成プロセスを自動化することで、MLをより多くの人々に手軽に利用できるようにするアプローチです。近年では研究が進められており、多くの分野で適用が可能となっています。今回、Googleが開発したAutoMLソリューションは、①完全に自動化され、②ほとんどの時系列予想タスクで使用でき、③高品質なモデル、になったとしています。
　AutoMLについて、詳しくはこちらの記事『【AutoML特集】サービス系AutoML（Google Cloud AutoML）とPyCaretを比較してみた』をご参照ください。

○課題
　時系列予測には、いくつかの特徴的な課題があり、今回Googleは以下の点に留意して対応したとのことです。
　一つ目は、過去の履歴データに基づいて将来を予測することになりますが、将来と過去で大きく傾向が異なってしまう可能性があるということです。たとえば将来の製品販売などのテストセットは、履歴データから抽出されたトレーニングおよび検証セットとは異なる分布を持つ可能性があります。
　もう一つは、現実世界の時系列データは、データの欠落と高い断続性に悩まされるという点です。（新製品の売上を予測する場合など）
　その上で、AutoMLとして汎用的に利用するためには、さまざまなデータセットに自動で適用できる必要があります。これらのデータセットは、ドメイン（製品の販売、Webトラフィックなど）、粒度（毎日、毎時など）、履歴の長さ、機能のタイプ（カテゴリ、数値、日時など）などが異なり、事前に適応するために設定するのが困難という問題があります。

○AutoMLソリューション
　Googleでは、これらの課題に取り組むために、時系列予測専用の検索スペースを備えたエンドツーエンドのTensorFlowパイプラインを設計しました。これは、エンコーダーが時系列の履歴情報をベクトルのセットに変換し、デコーダーがこれらのベクトルに基づいて将来の予測を生成するエンコーダー-デコーダーアーキテクチャに基づいています。
　Googleの研究チームは、時系列の将来を予測する際の不確実性と戦うために、検索で発見された上位モデルのアンサンブルを使用して最終的な予測を行うように設定しました。上位モデルの多様性により、予測は不確実性に対してより堅牢になり、履歴データを過剰適合させる傾向が少なくなりました。データが欠落している時系列を処理するために、トレーニング可能なベクトルでギャップを埋め、モデルに欠落している時間ステップへの適応を学習させます。間欠性に対処するために、将来の各タイムステップについて、値だけでなく、このタイムステップでの値がゼロ以外である確率も予測し、2つの予測を組み合わせます。最後に、自動検索により、さまざまなデータセットのアーキテクチャとハイパーパラメータの選択を調整できることがわかりました。これにより、AutoMLソリューションが汎用的になり、モデリング作業が自動化されます。

○M５予測コンペティションによる成果の実証
　完全に自動化されたソリューションでM5コンペティションコンテストに参加し、銀メダルゾーンにある最終リーダーボードで5558人の参加者のうち138人（上位2.5％）のランクを達成しました。競合する予測モデルの多くは、作成に数か月の手作業が行われていますが、AutoMLソリューションは、適度な計算コスト（2時間で500 CPU）を使用し、人の介入なしでモデルを短時間で検出しました。
　また、他のいくつかのKaggleデータセットでAutoML予測ソリューションのベンチマークを行ったところ、リソースの使用が限られているにもかかわらず、平均して手作りモデルの92％を上回っています。