はじめに
FAIRの研究チームが自己教師あり学習を利用したより高速なハイパーパラメータチューニングの方法を提案しています。
Large-scale forecasting: Self-supervised learning framework for hyperparameter tuning
https://ai.facebook.com/blog/large-scale-forecasting-self-supervised-learning-framework-for-hyper-parameter-tuning/
〇論文
Self-supervised learning for fast and scalable time series hyper-parameter tuning
https://arxiv.org/abs/2102.05740
概要
ハイパーパラメータの調整はモデルの精度に影響します。特に時系列モデルにおいてはその影響は大きいとされています。今回、FAIR は自己教師あり学習を利用したハイパーパラメータチューニングモデルであるSSL-MS（self-supervised learning framework for model selection）とSSL-HPT（ self-supervised learning framework for hyperparameter tuning）を開発しました。
通常よりも６倍～20倍速く推定し、通常の検索ベースのチューニング手法と同程度の成果を出力します。
詳細
背景
時系列分析（傾向の検索または将来の値の予測に使用）では、ハイパーパラメーターのわずかな違いにより、特定のモデルの予測結果が大きく異なる可能性があります。そのため、最適なハイパーパラメータ値を選択することが非常に重要です。特に予測は、Facebookで行っているデータサイエンスや機械学習の中核を成すタスクの一つであり、大量の時系列データを用いて、高速で信頼性の高い正確な予測結果を提供することは、Facebookのビジネスにとって重要とされています。
現在ハイパーパラメータチューニングの主要手法となっているグリッドサーチ、ランダムサーチ、ベイジアン最適サーチなど全て、「検索（サーチ）」という１つの要素に基づいています。そのため、計算コストを下げたり、速度を速めるのが難しいという問題があります。今回開発したSSL系の手法は、入力として時系列機能を使用することで、精度を犠牲にすることなく、より短い時間で最適なハイパーパラメーターを生成することに成功しました。
SSL-MS
SSL-MSは、以下のような3つのステップで構成されています。
①オフラインでの学習データの準備
(a)各時系列の時系列特徴と、(b)各時系列の最適なモデルを、オフラインでの徹底的なハイパーパラメータチューニングによって取得します。
②オフラインでの学習
①のデータを用いて分類器（自己教師付き学習器）を学習します。ここで、入力特徴（予測器）は時系列特徴で、ラベルは①の最高性能モデルから与えられます。
③オンラインモデルの予測
オンラインサービスでは、新しい時系列データに対して、特徴量を抽出した後、ランダムフォレストモデルなどの事前に学習した分類器で推論を行います。
SSL-HPT
SSL-MSのワークフローはSSL-HPTにも基本的に拡張されます。下の画像に示すように、モデルが与えられると、事前に定義されたパラメータ空間内のすべてのハイパーパラメータ設定が各時系列に対して探索されます。そして、最も有望なものが出力𝑌として選択されます。入力𝑋については、SSL-MSと同じものです。自己教師付き学習者が学習されると、ハイパーパラメータを直接予測し、新しい時系列データに対しても予測結果を出すことができます。
実験・結果
Facebookのインフラストラクチャーデータとオープンソースデータを利用して、アルゴリズムを実証的に評価したところ、従来手法と同程度の精度の結論を得ることができました。その一方で、SSLフレームワークは、モデル選択とハイパーパラメータのチューニングの効率を劇的に向上させ、実行時間を6～20倍に短縮することができました。
まとめ
現在は実験段階であり、またFacebookのビジネス上重要な研究ということもあってか、オープンソースのライブラリなどは発表されていません。論文は発表されているため、個人での実装は可能ですが、今後オープンソースが公開されることに期待したいところです。