Learning to Learn

Paper

https://arxiv.org/abs/1711.09325

Code

https://github.com/alinlab/Confident_classifier

Paper

arxiv.org/abs/2007.03212

Abstract

- Soft labelling 학습이 OOD detection에는 어떠한 영향을 미치는지에 대해 분석한 workshop 논문.

- incorrect-class에 대한 output의 soft-labeling 학습이 OOD detection 성능을 저해(deteriorate) or 향상(improve) 할 수 있다.

Introduction

저자는 실험을 통해 다음과 같은 가설을 제시한다.

a) label smoothing은 DNN의 OOD detection 성능을 저해한다.

b) teacher model을 통해 생성된 soft-label은 OOD-detection 성능을 student model로 동등하게 전달한다.

Soft Labeling as an Output Regularization

Soft labeling 기법은 주로 Noisy labelling  분야에서 Regularization 기법으로 주로 사용된다.

towardsdatascience.com/label-smoothing-making-model-robust-to-incorrect-labels-2fae037ffbd0

다음과 같이  uniform distribution를 이용해 regularization 하기도 하고,

knowledge distillation에서는 teacher model의 output을 이용해 regularization 한다.

Experimental Setting

실험 세팅은 outlier exposure official code를 그대로 사용하였고, epoch 150만 학습했다는 점이 다른 점이다.

hyper-parameter setting은 다음 논문을 참고하였다. (when does label smoothing help? : NeurIPS 2019)

Label Smoothing and OOD Detection

- label smoothing에 대한 결과 test acc 를 증가시키고 ECE를 감소시키기는 하였으나 AUROC는 감소시키는 결과를 낳았다.

(*ECE: expected calibaration error ,  acc와 confidence의 차이를 말하는듯..)

- 그럼 왜 AUROC가 감소하는가? ID(In-distribution) sample에 대해서 uniform distribution regularization을 적용하기 때문에 

OOD가 위치하는 embedding space의 중앙 부분에  ID sample이 위치하는 결과를 낳기 때문이다. 

- 위의 실험 결과에서 보듯이 Regularization term 'a'가 커질수록  AUROC는 감소하는 경향을 보이게 된다.

Knowledge Distillation and OOD Detection

- 위는 OE없이 distillation한 결과이다. teacher model과 비슷한 결과를 가져간다고 논문에서는 말하고 있다.

- 아래는 OE를 학습한 teacher model을 가지고 distilation한 결과이다. teacher model의 AUROC값을 그대로 학습하는 것을 확인가능하다.

-이 실험의 경우, OE에 의해 학습된 teacher model의 Knowledge를 이용해 soft labeling 학습을 하여 AUROC를 높혔지만, 반대로 생각해보면 어찌되었든, soft-label 학습을 통해 AUROC을 높일 수 있는 방법이 존재한다는 것을 의미한다.

(그러나 준비된 teacher-model없이 어떻게 soft-labeling을 생성할지는 아직 숙제이다.)

- 또한 이러한 distiling을 모델의 크기에 관계없이 적용이 가능한 것으로 확인되었다.

(큰  teacher model로 부터 작은 student model로 distiling해도 teacher AUROC 학습됨)