Top-n accuracy

Top-n accuracy

“Accuracy”と”Top-n accuracy”はどちらも分類モデルの性能を評価するための指標ですが、異なる特徴があります。

Accuracyは、モデルが予測したクラスと真のクラスが完全に一致する場合にのみ正確と考えます。つまり、モデルがあるデータポイントについて「犬」と予測し、真のラベルも「犬」であれば、その予測は正確とされます。それ以外のケース(つまりモデルの予測が真のラベルと異なる場合)では、その予測は不正確とされます。全てのデータポイントに対してこれを繰り返し、正確な予測の割合が計算されます。これがaccuracyです。

一方、Top-n accuracyは、モデルの予測が完全に正確である必要はありません。代わりに、真のクラスがモデルが予測した上位nクラスのいずれかに含まれていれば、その予測は正確とみなされます。たとえば、Top-3 accuracyでは、モデルが「犬」、「猫」、「鳥」を最も可能性の高いクラスと予測し、真のラベルがこれらのいずれか(つまり、「犬」、「猫」、「鳥」)であれば、その予測は正確とされます。全てのデータポイントに対してこれを繰り返し、そのようにして正確な予測の割合が計算されます。

Top-n accuracyは、特に多クラスの分類問題において有用です。これは、真のクラスがモデルの上位n予測の中に含まれることが、モデルが問題を理解し、正しい方向に近づいていることを示すからです。また、特に画像認識などのタスクにおいて、モデルが出力する上位nのクラスが人間の直感や判断と一致することが多いため、モデルのパフォーマンスを人間が理解しやすい形で評価するのに有用です。