그러나 기존 GAN의 경우, 고화질 이미지를 생성하는데 어려움을 겪었고, 이를 해결한 ProGAN을 개발하게 되었다.
ProGAN의 경우, GAN과의 구조가 유사하나, high resolution image를 바로 high resolution으로 생성하는게 아니라, low resolution부터 생성하는 방법을 통해 고화질 이미지를 생성한다.
그러나 ProGAN을 포함한 GAN 모델은 feature가 entangle되어 있다는 문제점이 있다.
이는 다음 그림에서 잘 묘사되어 있다.
GAN의 latent space인 z space의 경우 위와 같이 각 attribute에 해당하는 요소들이 entangle되어 있기 때문에 latent space walking을 통해서 각 attribute를 변화시키는 것이 어렵다.
따라서 PGGAN과 같은 GAN모델에서도 style을 변화시키고 싶지만, 이미지 생성을 담당하는 latent vector의 latent space가 entangle되어 이와 같은 작업이 어렵다는 점을 해결하고 싶었고, 먼저 mapping network를 활용하여 기존의 z를 attribute들을 disentanglement 할 수 있는 W공간으로 mapping 시키는 mapping network를 도입한다.
그래서 전체적인 구조는 다음과 같다.
여기서 A는 다음과 같이 상세하게 표현이 가능하다.
A는 FC Layer를 의미하며 w space상에서 해당 layer에서 생성하는 style을 추출하며 conv feature에 입혀준다.
각 레이어마다 다른 A FC가 있기 때문에 각각 다른 평균, 분산 값을 아웃풋으로 내어주게 되고, 이는 레이어마다 다른 스타일을 생성한다는 것을 의미한다. (레이어마다 생성하는 attribute를 disentanglement가능함.)
B는 다음과 같이 자세히 표현가능하다.
B는 noise를 추가하여 variation을 추가해주는 과정이다. 이렇게 함으로 사소한 feature(머리카락, 수염, 주름)등은 B layer 를 통한 값에 맡기고 중요한 feature(성별, 인종, 헤어스타일)은 input latent vector가 담당하도록 guide가 가능하다.
그래서 다음 그림을 통해서 각 레이어마다 style, 생성하는 feature를 disentanglement하였음을 확인할 수 있다.
Destination을 합성하는 과정에서 특정 layer의 style을 source로 치환했을 때의 합성 결과. Network 초반에는 성별, 포즈 등 coarse style이 변경되며 후반에는 머리 색 등 fine stle이 변경됨.
(source 이미지를 만들때 encoding된 style을 destination image에 적용했을 때, 결과임. 이는 각 layer별로 생성하는 style이 제대로 disentangement되었음을 말하며, 초반에는 coarse한 style 후반으로 갈수록 fine한 style이 encoding됨을 확인할 수 있음)
또한 과연 w space가 z에 비해서 disentanglement가 이루어졌는지 확인하기 위해서 perceptual path length를 제안한다.
좀 직관적으로 알아보면 latent space상에서 이동을 했을 때, 결과가 얼마나 바뀌는지 확인하는 척도라고 보면 된다.
그러나 StyleGAN의 경우, 아래와 같은 artifacts와 부자연스러운 부분이 발생하는 것으로 알려져 있다.
먼저 아래와 같은 물방울 노이즈가 발생한다.
이는 AdaIN 때문에 발생한다고 하며, 원래는 작은 spike-type distribution이 AdaIN의 normalization과정을 커져서 증가하기 때문이라고 저자는 말하고 있다. 실제로 AdaIN을 제거하면 이 물방울은 사라지는 것으로 확인되었다.
다음은 일부 feature가 얼굴의 움직임을 따르지 않는 문제이다. 아래 이미지를 보면 얼굴은 옆으로 변하지만 이의 배열은 얼굴을 따르지 않아서 부자연스럽다. 이 문제는 progressive growing으로 인해 발생한다고 한다.
왜냐하면 각각의 해상도에 해당하는 이미지가 독립적인 Generator에 의해서 생성되기 때문이다.
또한 Perceptual Path Length(PPL)의 분석이 이미지 품질과 연관이 있는 것으로 밝혀졌다.
(자세한 건 논문참고하자. 명확히 이해못했음)
먼저 style gan2는 다음과 같이 architecture를 수정하였다.
먼저 AdaIN 때문에 발생하는 droplet artifact를 해결하기 위해, AdaIn 대신 Weight Demodulation을 도입한다.
먼저 Mod mean/std와 Norm mean/std의 의미를 알아야 되는데, Mod mean/std는 그 style에 해당하는 mean값을 더하고, std값을 곱해주는 것을 의미하며, Norm은 기존의 평균값을 빼주고, 분산값을 나누어주는 연산을 의미한다.
기존 AdaIn이 Conv layer feature값에 직접 적용하게 되는데, 이와 같은 normailization 과정이 conv layer간의 feature value에 영향을 주어 conv layer 간의 관계를 해치게되고 때문에 droplet 현상이 발생한다고 주장한다.
그래서 이를 수정하게 되는데, 먼저 (c)와 같이 수정한다. 바뀐점은 mean을 modify하고 normalization하는 부분이 빠졌는데, 어차피 conv layer의 bias parameter 및 B의 noise add하는 부분 때문에 mean를 add하는 것은 의미가 없다고 보았다.
그러한 연유로 bias 및 B연산을 하는 부분 자체가 style block 바깥으로 빠져서 연산이 진행된다.
따라서 std만 modify 및 normalizaiton을 함으로 style을 적용하게 되는데, 여기서 conv feature에 이러한 연산이 적용하는 것이 droplet artifact를 발생시키는 원인이었으므로 이와 같은 mod / Demod를 Conv의 feature가 아닌 Conv의 parameter에 적용한다.
먼저 A layer를 통해서 scale factor s를 구한다. 이때 i는 feature map의 channel의 순서를 의미하며, j와k는 spatial 축의 H,W 순서를 의미한다. 즉, feature map의 각 채널 축마다 해당하는 style scale factor(분산에 해당하는..?)값을 곱해준다고 생각하면 된다. 여기가 (d)그림의 Mod과정이다.
Gram matrix를 feature map간의 관계(유사도)를 나타낸 행렬로서 style을 담고 있다는 것이 실험적으로 밝혀졌고, gram matrix뿐만 아니라 feature map의 평균과 분산이 style에 대한 정보를 가지고 있다고 실험적으로 밝혀지게 되었다.
이러한 연구는 추후 style transfer 연구에서도 나타나게 되는데 순서는 다음과 같다.
먼저 우리가 자주 사용하는 batch norm을 살펴보자.
batch norm의 경우, 학습과정에서 생기는 internal covariant shift를 해결하기 위해 만들어진 기법으로, 위 그림처럼 batch size의 전체를 기준으로 각 채널별로 H,W에 대한 평균, 분산을 구해서 표준화(standardization)를 해서 학습을 한다.
instance norm의 경우, 이러한 표준화를 batch size가 아닌 instance별로 행하는 것을 의미하며, instance별로 각 채널의 평균 분산을 구해서 그 값을 이용해 각 채널을 표준화 해주는 것을 의미한다.
여기서 instance norm의 이야기를 왜 하냐면 Ulyanov가 쓴 논문에서 기존의 style transfer task에서 batch normalization을 instance normailzation으로 바꾸는 것만으로 style transfer task의 성능이 크게 향상되었기 때문이다.
이러한 결과에 힘입어 Conditional Instance Normalizatrion 또한 제시되었다.
CIN은 affine parameter γ,β를 style에 관계없이 하나만 학습시키는 것이 아니라, style별로 다르게 학습시키는 방법을 택한다. training할때, style image를 s개의 index 묶음으로 묶은다음,
그렇기 때문에 Adain은 content 이미지 feature map에다가 style feature map의 평균과 분산을 적용함으로서, style을 변경해주는 방법이다. 그렇기 때문에 s가 바로 style의 개수라고 볼 수 있는데, 결과적으로 놀라운 일은 네트워크가 같은 convolution parameter를 사용하면서, affine parameter만 변경한것으로 다른 스타일을 생성한다는 점이었다.
이러한 실험 결과들에 힘입어 instance normalization 과정 자체가 style을 normalization하는 것이라고 생각하게 되었다.
그리고 affine parameter를 적용함으로, 새로운 style을 적용가능하다고 생각하게 되었다.
그렇다면 CIN처럼 스타일의 개수를 한정하여 만들지 말고, affine parameter를 각 스타일마다 적용하면 어떻게 될까?
그게 바로 AdaIN(Adaptive Instance Normalization)이다.
AdaIN은 기존의 Instance Norm의 affine parameter를 하나의 값으로 고정하거나, 한정된 개수 (CIN : 32개)로 만드는 것이 아닌 style 각각에 대해서 추출하여 적용한다.
이를 식으로 표현하면 다음과 같다.
이를 직관적으로 설명하면 다음과 같이 설명이 가능하다.
직관적으로, 우리가 feature channel을 특정한 스타일의 brushstrokes 을 detect하자고 하자. 이러한 stock는 이 feature를 위한 high average activation 를 생성할 것이다. AdaIN에 의해서 생성된 output은 contents image의 spatial structure를 유지하면서 이 feature를 위한 같은 high average activation를 가지게 될 것이다. 이러한 brushstrokes feature는 Fedd-forward decoder를 통해 iamge space로 inverted될 것이다. 이러한 feature channel의 variance는 더 미묘한 style imnformation을 encode할 수 있을 것이고, 이것은 또한 AdaIN output으로 전달되고, 최종적인 output image에 전달될 것이다.
정리하자면, AdaIN은 channel-wise mean and variance라는 feature statistics를 transfering함으로서 feature space상에서 style trasnfer를 수행한다.
이때 Loss function은 다음과 같이 구성된다.
여기서 L_c (content Loss)는 다음과 같다.
이때 g(t)는 decoder를 통해서 나온 이미지를 의미하며, 이를 VGG encoder에 다시 통과시켜 feature 형태로 변환한다.
그리고 기존의 AdaIN을 통과해 나온 결과 feature와 L2 Loss를 줌으로 decoder를 학습시킨다. (encoder는 고정)
Style Loss는 다음과 같이 적용한다.
ϕi.는 VGG-19의 i번째 레이어이다. 스타일로스에서 사용한 레이어는 relu1 1, relu2 1, relu3 1, relu4 1 이다. 이 역시 간단하게 설명하자면, 원래 스타일 s를 인코더에 넣었을 때의 i번째 feature ϕi(s)의 평균과 t를 디코더에 넣고 이를 다시 encoder에 넣었을 때의 i번째 Feature ϕi(g(t)) 의 평균(μ)과 표준편차(σ)를 최소화 시키는 방법으로 스타일 로스를 구한것이다.
1) low-image detail에 집중해서 생성하는 경향 (texture) , 이에 비해 물체의 shape는 잘생성하지 못함
2) inference time때 pixel 하나씩 생성하는데, 이것이 시간이 많이 들고, computationally cost가 크다.
이러한 단점들을 해결하기 위해서 본 논문에서는 auxiliary variables를 도입한다.
1번의 low-image detail에 집중하는 문제는 Grayscale Pixel CNN을 도입함으로 해결한다.
Grayscale pixel의 경우 이미지의 texture정보가 상대적으로 사라지기 때문에 shape와 같은 high-level image detail에 집중할 것이고, 그렇기 때문에 original pixel CNN의 경우, low level image detail를 생성하고, gray-scale pixel CNN의 경우 high level image detail을 생성하여 task decoupling이 이루어질것이라는 생각이다.
또한 2번의 기존 pixel CNN의 computationally cost문제를 해결하기 위해 Pyramid Pixel CNN을 도입한다. 이는 기존 방법보다 더 간편한 inference형태를 제공한다.
Method
기존의 pixel CNN은 다음과 같이 chain rule을 이용해서 i-th pixel의 conditional probability를 계산한다.
본 논문의 main contribution은 다음과 같이 auxiliary variable을 도입했다는 점이다.
이는 다음과 같이 수식적으로 표현할 수 있다.
이때 X_hat이 고정된 값인 경우 PixelCNN이 pixel을 예측하는 방식을 그대로 사용하면 되고, 확률모델 p(X_hat)으로 표현되는 경우, 먼저 p(X_hat)을 계산한 후에 p(X|X_hat)을 곱해주는 형태로 pixel을 생성가능하다.
이때 p(X_hat)은 다음과 같은 조건을 만족시키는 형태로 만든다.
1) p(X_hat)은 Pixel CNN형태와 같은 type의 모델로 만들 수 있게 한다.
2) X_hat은 deterministic function으로 X -> X^ 계산이 되는 형태를 사용한다.
이렇게 하면 장점들이 있는데 바로 (2)번 특성을 이용하면 p(X^|X) 의 형태가 peaked distribution 형태가 되고, training과정에서 효율적으로 가능해진다.
일단 먼저 log p(X,X^)은 위와 같이 decomposition이 가능하고, 이때 parameter가 겹치지 않기 때문에 parallel learning이 가능하다. 그리고 이렇게 decomposition 했을 때, 아래와 같이 lower bound를 수식으로 표현이 가능하다.
이때 p(X, X^)는 p(X^|X)p(X)로 표현할 수 있고, p(X^|X) 는 X->X^간의 관계가 deterministic하게 표현되는 경우 peaked distribution (각 X에 대해서 1에 가깝게..) 형태가 되므로 low bound도 최대가 되는 장점이 있다.
이와같은 조건을 만족하는 aux variable로 본 논문에서는 2가지를 제시한다.
1) Grayscale Pixel CNN
Grayscale pixel CNN은 aux variable로 4-bits gray scale이미지를 활용하는 것이다.
이를 활용하면 앞서 제시했던 기존의 PixelCNN이 이미지의 low-level detail (texture)만 잘 생성하는 문제를 보완할 수 있기 때문에 활용한다고 한다. 왜냐하면 gray scale이미지의 경우 이미지의 texture나 color정보가 사라지기 때문에 shape와 같은 high-level detail만 상대적으로 남기 때문이다.
따라서 p(X^)는 이미지의 global property를 포함하게 되고, P(X|X^)은 이미지의 low level property를 포함해서 P(X)를 생성하게 된다.
2) Pyramid PixelCNN
기존의 pixelCNN 모델은 다음과 같은 단점이 있다.
첫번째 Pixel의 경우에는 어떤 information도 제공받지 못하는 반면에 마지막 pixel의 경우 모든 pixel의 정보를 제공받아서 생성된다. 이러한 assymmetic한 점을 보완하면 생성이 더 잘될것이라고 저자는 생각했다.
또한 기존 PixelCNN은 recurrent한 속성때문에 inference 속도가 느리고 computational cost 또한 크다.
이를 보완하기 위해서 저자들은 low resolution image를 aux variable로 사용한다.
이렇게 low resolution image를 활용하면 이미지의 spatial한 부분에서 전체적인 정보를 활용할 수 있기 때문에 기존 PixelCNN의 문제인 receptive field가 작다는 문제및 assymetric문제를 해결할 수 있다.
이때 과정은 다음과 같이 그림으로 표현할 수 있다.
이때, embedding function을 deep한 네트워크를 사용하면 나머지 P(X^) , P(X|X^)모델은 light-weight를 사용해도 될거라고 저자들은 가정한다. 이렇게하면 speed의 향상을 가져올 수 있는데, 왜냐하면 computational cost가 큰 embedding function(deep NN을 쓰므로)은 pixel단위로 계산이 이루어지는 것이 아니면 conv연산 전체를 행하기 때문이다.
그리고 each pixel로 생성하는 과정의 모델인 P(X|X^)의 경우 light-weight 모델이기 때문에 빠르게 연산이 행해지고 이는 속도의 향상을 가져온다.
Details
기본적으로 conditional model p(X|X^)의 구현은 다음과 같이 이루어진다.
embedding function f(X^)의 결과를 network의 residual block의 결과에 bias값으로 넣어준다.
embedding function f(X^) 또한 PixelCNN++의 architecture와 거의 동등하게 사용한다.
그러나 The main difference is that we use only one flow of residual blocks and do not shift the convolutional layers outputs, because there is no need to impose sequential dependency structure on the pixel level.
기존의 softmax방법이나 Prototype learning 모두 known data에 대해서만 objective function을 적용해주기 때문에 known class와 unknown class sample이 유사한 곳에 embedding되는 현상을 막을 수 없었다.
기존의 방법들이 known class의 구분을 신경썼다. 따라서 각 known class에 대한 prototype을 지정하거나 신경을 썼다.
그러나 ARPL의 경우 '반대로 각 Class에 해당하지 않는 것에 대한 center, prototype 지점을 정의'한다. 그리고 그 점을 Reciprocal point라고 명명한다.
위의 그림 (a)와 같이 특정 클래스가 아닌 sample들의 prototype point를 각 Class에 대해서 지정해준다. (Not C1 , Not C2 , Not C3) 이렇게 하기 위해서는 기존 Class와 reciprocal point의 거리를 멀게 objective를 설정하면 되긴 하지만, unknown sample들이 embedding 되는 위치가 적절히 bounded되지 않는다는 단점이 있다. 때문에 논문에서는 open space를 최대한 줄이기 위한 bound를 설정해주게 된다.
또한 추가적으로 gan model을 이용해 sample을 생성하고 이를 활용한다. 기존 gan과 다른점은 생성한 sample이 classifier를 통과했을때, recipocal point와 가깝게 mapping이 되도록 유도한다는 점이다. (실제 sample이 아니므로)
이와 같은 유도를 표현한 것이 바로 Fig3.(c)이다.
Method
method를 설명하기 위해 여러가지 용어정의가 필요하다.
Sk 는 k번째 class가 embedding 되는 space를 의미한다. 그러므로 k번째 class에 대한 open space는 다음과 같이 정의된다.
그리고 k class에 대한 open space Ok는 다음과 같이 나눌 수 있다.
k class가 아닌 다른 known class들이 mapping되는 O pos k , 그리고 나머지 unknown class가 mapping 되는 O neg k,
그러므로 다음과 같이 표현이 가능하다.
이렇게 정의하였을 때, 다음과 같은 에러를 줄이는 것이 objective이다.
첫번째 term은 classification loss term이고, 두번째 term은 open space를 줄이는 term이다.
open space, R_0는 다음과 같이 정의된다.
식을 해석하면, 아래는 전체 embedding space를 의미하고, 위는 unknown class sample이 embedding되는 space를 의미한다. 즉, 전체 embedding space중에서 unknown class sample이 embedding되는 space의 비율을 open space라고 정의한다. 그리고 본 논문에서는 이러한 space를 줄이는 것을 목표로 한다.
이러한 loss term을 각 Class 모두에서 행하기 때문에 아래와 같이 표현이 가능하다.
이를 다시 표현하면 아래와 같다. ( one vs rest를 multiclass classification 형태로 변형)
이때, D_L은 labelled data이고, D_U는 unlabelled data이다.
class k의 reciprocal point를 P k라고 나타내면, reciprocal point는 k class에 속하지 않는 sample들의 Prototype을 의미하기 때문에 O_k에 속하는 sample들은 S_k에 속하는 sample보다 P_k에 가까워야 한다.
위의 식을 살펴보면, K class에 속하지 않는 labeled data및 unlabeld data들과 reciprocal point Pk과의 거리를 쟀을 때, 가장 큰 값을 추출하더라도, k-class에 해당하는 labeled data sample과 P_k와의 거리보다는 작길 바라는 식이다.
식의 의미는 다음과 같다. 분모는 normalization term이고, 모든 reciprocal point와 sample이 embedding된 위치와의 거리를 구한다. 그리고 분자의 경우 해당 class k에 대한 reciprocal point에 대한 distance이다. reciprocal point와의 거리는 멀수록 해당 class일 확률이 높기 때문에 위와 같이 식을 정의한다.
이에대해서 NLL loss를 적용함으로 classsicfication에 대한 optimization을 수행한다.
이러한 objective function을 unknown sample과 known sample에 대한 거리를 maximization하기는 하지만, open space O_k에 대해서 제약이 없기 때문에 S_k와 O_k간의 overlap이 발생한다는 단점이 있다.
그 다음 open space risk term을 다루기 위해서 본 논문에서는 Adversarial Margin Constraint (AMC)를 제안한다.
open space는 위에서 말한 것처럼 O pos k , O neg k로 나뉜다. 모든 k class에 대해서 open space를 모두 더하면 다음과 같이 표현이 가능하다.
S_k와 O_k를 잘 분리하기 위해서는 O_k의 space를 잘 bounding하는 것이 중요하다.
그래서 다음과 같이 recipocal point와 해당 하는 k 클래스의 'not k class' sample들의 거리를 특정 R값이 이하로 bounding하여 준다.
물론 이러한 bounding만으로는 Openspace를 모두 바운딩하는 것은 불가능하다.
아무튼 아래와 같이 tranining sample과 해당 class reciprocal point의 거리를 최소한 R이상을 만들도록 함으로,
간접적으로 open space에 있는 sample들은 reciprocal point와 R이하의 거리를 가지도록 만든다.
위의 식과 classfication loss를 합치면 아래의 효과를 지닌다고 말하고 있고, 그에 대한 증명을 하고 있다.
이러한 것을 multi class에 대한 식으로 표현하면 다음과 같다.
그래서 앞의 내용을 종합하면 아래와 같이 Loss 식을 구성할 수 있다.
자세한 알고리즘은 다음과 같다.
이렇게까지 하면 unknown sample을 어느정도 걸러낼 수 있으나, generator로 부터 생성된 sample까지 cover하지는 못한다. 그러므로 Confusing samples (CS)를 생성해서 이용함으로서 unknown class sample을 더 잘 걸러내도록 한다.
일단 생성하는 sample은 gan을 이용한다.
gan에 대한 수식은 일단 일반적인 gan과 동일하다.
여기다가 optimization 식을 하나 더 추가해준다.
위 식은 기존의 Classsifition의 NLL Loss식과 동일하나 Minimization이 아니라 Maximization하는 것이 다르다.
위 optimization 식이 만족하는 경우는 confusing sample이 reciprocal point에 가깝게 embedding되는 경우이다.
논문에는 아래와 같이 표현되어 있다.
따라서 GAN 네트워크에 대한 Optimization식을 표현하면 다음과 같다.
이렇게 생성하는 경우, 결과론적으로 Confidence Calibrated 논문에서 uniform에 fitting해서 sample을 generating하는 것과 같은 효과를 가지게 된다. (realistic하지만, unknownc class의 경계에 위치하는 sample)
또한 생성한 sample을 이용해서 추가적으로 Enhancement하는 term을 추가해준다.
생성한 sample의 경우, uniform distribution에 다시 fitting 해준다. ( Classificaition 부분에서 enhancement해줌.)
또한 real sample과 생성된 sample들이 같은 domain에 위치하는 것을 막기 위해 Auxiliary Batch Normalization(ABN)을 추가한다. 방법은 real sample과 generated된 sample들에 대해서 batch normalization을 따로 해주는 것으로, 실제로 성능향상에 효과를 보았다고 한다.
Experiments
먼저 network는 OSRCI network와 동일하다. gan model은 confidence calibrated classifier와 동일한 model을 사용하였다.
본 논문에서는 OSCR이라는 척도로도 성능을 비교했는데, Classification을 잘 맞춘 비율과 Openset을 잘맞추는 비율을 threshold값을 변화해가며 그린 curve라고 보면 된다. (기존 AUROC는 classification 성능이 높을 필요는 없었음)
-OOD evaluation
Summary
본 논문은 기존의 method들이 각 class에 대해서 prototype을 설정하고 이에 맞춰서 학습을 진행한것과 달리,
각 Class가 아닌 sample에 대해서 prototype을 설정하고 reciprocal point를 설정한 것이 특징이다.
이를 위해서 각 trainining class k에 대해 reciprocal point와의 거리가 멀어지도록, 학습을 진행한다. 또한 reciprocal point와 training sample간의 거리가 최소한 R보다는 크도록 만든다.
이렇게 학습하는 것이 원래 목적인 unknown class sample이 reciprocal point에 R이하로 bounding되어 embedding되는 효과를 지닌다고 논증하고 있다.
또한 이것에 추가하여 Confusion sample(CS)을 생성하고, 이를 추가로 학습에 이용한다.
이때, confusion sample은 Confident-Calibrated 논문에서 sample을 생성하는 것처럼, trainining sample과 유사하지만 unknown class sample을 생성한다. (자세한건 위 수식 참고) 또한 생성한 sample을 다시 uniform distribution에 mapping한다.
그리고 ABN이라는 생성한 sample에 대해서만 따로 Batch normalization을 적용하여 생성한 sample과 기존의 real sample 과의 distribution이 겹치지 않도록 한다.
Pros
내가 생각하는 좋은 점은 open space를 bounding 시킨 점인듯하다. reciprocal point라는 개념도 좀 재밌긴 하다.
ABN 모듈도 작긴 하지만 신선한 생각이라고 느껴졌다.
Cons
split을 기존 논문들과 다른 split을 사용했다. 결국 좀 정당한 evalution이 이루어지지는 않은 논문이라고 생각한다.
그리고 샘플이 generation하여 추가로 학습하는 부분은 confident-calibration 논문과 너무 유사하다.
본 논문에서는 Zero-Shot Learning과 Open-Set Recongniton에 대해 새로운 framework를 제안하였다. (counterfactual framework) 이 2가지 문제는 모두 training때 보지 못한 unseen data에 대해서 모델이 generalized (seen data, unseen data 모두 잘하는) 능력을 갖추는 것이 핵심인 문제이다.
2가지 문제 모두다 unseen data를 다루는 문제이기 때문에 unseen data를 생성하는 방법을 많이 사용한다.
그러나 기존의 방법들은 unseen data가 실제 unseen data의 distribution과 다른 distribution이 생성된다는 문제점이 있었다.
이러한 이유를 본 논문에서는 생성된 샘플이 'Not Counterfactual Faithful'하기 때문이라고 설명하고 있다.
때문에 본 논문에서는 Counterfactual Faithful한 sample을 생성하여 원래 unseen data의 distributuion과 동일함 distribution을 샘플을 생성하는 것을 시도한다.
Counterfactual faithful한 것의 의미는 다음과 같다.
"만약 특정 sample의 attribute는 유지한채 class에 대한 attribute만 변화하면 어떠한 sample이 만들어지는가?"
(완전히 무의미한 sample이 아닌 실제 존재하는 attribute 및 feature를 유지한채 sample을 생성한다는 의미인듯)
이러한 방법으로 faithfulness를 확보하면 'Consistency Rule'를 unseen/seen binary classification에 적용할 수 있다.
예를 들면 다음과 같이 수행가능하다. 생성된 counterfactual sample이 특정 class에서 나온것이냐? 라는 물음에 binary classsification 형태로 yes or no를 도출가능하다.
Introduction
기존의 ZSL (Zero-Shot Learning) 이나 OSR (Open-Set Recongniton) 방법들은 기존 training dataset의 sample들을 이용해서 unseen dataset에 대한 sample을 생성하고 이를 이용해서 test time때 unseen class를 구분하는 알고리즘을 주로 사용했다. 그러나 이와 같은 방법은 생성된 unseen class에 대한 sample들이 실제 unseen class의 sample들과 다른 distribution을 가진다는 문제점이 존재한다. 아래 그림 (a)를 보자.
그림을 보면 생성된 unseen class와 True unseen class sample에 대한 차이가 존재하기 때문에 decision boundary가 불균형하게 형성되고 따라서 test때 true unseen class sample을 잘구분하지 못하는 것을 확인할 수 있다. 저자는 이러한 현상이 모든 ZSL 알고리즘에서 나타났다고 말한다. (Seen class에 대한 recall 값이 높음)
(이와 같은 일이 openset 에서도 맞는 말인지는 생각해 봐야 한다. OOD 논문에서 GAN으로 생성한 sample을 openset으로 활용하는 경우 생성된 sample이 True seen class sample에 True unseen class sample보다 더 가까워야 되는 것이 아닌가 생각해본다.)
이러한 문제는 사실 feature의 disentanglement문제와 관련이 있다고 저자는 말한다. 만약 feature을 disentangle할 수 있다면, 생성하는 unseen class data를 more sensible하게 생성할 수 있을거라고 이야기한다. 그러나, feature를 disentanglement하는 일을 어려운 일이며, 적절한 supervision이 필요한 일이다.
때문에 저자는 feature를 disentanglement하는 방법 대신 다른 방법을 제안하는데, 바로 Counterfactual Inference를 제안한다. (https://badlec.tistory.com/262?category=1035281)
X를 sample을 나타내는 Random variable, 이 sample을 encoding한 결과를 Z = z(X=x), (feature, attribute) , 그리고 class정보를 vector로 나타낸 것을 Y = y(X=x)라고 하면 sample x에 대한 counterfactual sample x_var는 다음과 같다.
만약 feature가 Z = z ( X = x ) 일때, Y가 특정 y Class라고 가정을 하면, X는 x_var가 될것이다.
즉, 어떤 feature가 있을 때, class에 대한 정보, vector만 바꾸어 주면 어떤 sample이 생성되는지 보고,
그 생성된 sample을 counterfactual이라고 본다.
이렇게 생성하는 경우 기존의 방법과 다른 점이 있다.
바로 기존 방법의 경우, sample-agnostic ( 부자연스러운 sample을 생성) 한다는 것이고, (gaussian noise z 기반으로 생성하기 때문.. 이라고 논문에서는 설명) 저자의 방법은 sample-specific한 방법이라고 설명하고 있다. ( sample을 feature, z(x)를 기반으로 생성하기 때문임.)
저자는 이러한 방식의 정당성을 부여하기 위해서 아무것도 없는 상태에서 unseen class sample을 생성하는 것보다, 특정 attribute, observed fact Z=z(x)를 기반으로 생성하는 것이 생성할 때, 잃어버리는(lost) feature, attribute없이 생성이 가능하다고 설명하고 있다. (마치 인간이 화석으로 부터 공룡의 모습을 상상하는 것 처럼..)
그리고 class attrribute Y와 class sample Z를 disentangle함으로 Counterfactual Faithfulness를 만족할 수 있다고 한다. 그리고 이를 만족하면 위 그림에서 (c) 부분과 같이 True sample unseen class와 유사한 distribution을 가지는 unseen class sample을 생성할 수 있다고 한다.
위와 같은 논리로 본 논문에서 제안한 counterfactual framework는 위와 같다. X sample이 input으로 들어오면 feature Z(Sample attribute)를 추출하고, Class Attribute Y와 concat을 한다. (정보를 더해줌) 이렇게 만들어진 최종 feature, attribute를 이용해서 sample을 생성한다. 이때 생성된 sample과 원래 sample X와 비교하는 과정을 거치게 된다. (Consistency Rule 적용) 이때 원래 Sample과 유사하면, 기존에 봤던 Class라고 판단하고, 다르면 처음보는 Class라고 판단한다. (Yes, No 부분)
Method
논문에서 어찌되었던 Counterfactual 논리를 사용하고 있기 때문에, 자신들의 Causal Model을 소개하고 있다. 논문에서는 Generative Causal model이라고 소개하고 있으며, 다음과 같이 도식화해서 표현한다.
도식에 대한 자세한 설명은 논문을 참고하면 된다. 그러나 크게 중요하다고는 생각안한다.
openset recognition에 대한 알고리즘만 좀 더 살펴보겠다.
기존의 method는 다음과 같은 알고리즘에 따라 openset을 구분하였다.
1. 먼저 test sample x가 input으로 들어오면 모델의 파라메터를 기반으로 test sample에 대한 class를 예측하게 한다.
2. 이 class정보를 이용해서 Pθ(X|Z = z, Y = y)로 부터 sample x'을 생성한다.
3. 이렇게 생성한 x'이 원래 sample x와 유사하면 known, 안유사하면 unknown처리한다.
그러나 이러한 method의 경우 z가 보통 gaussian noise가 사용되고, 즉 , sample-specific한 sample이 생성되지 않는다.
이러한 경우 condition으로 주어지는 y가 entangle되어 있기 때문에 (여러 sample들의 정보를 함께 담고 있음)
실제로 생성되는 이미지도 sample들의 feature가 entangle(여러 sample, instance 정보들이 섞어있음)되어 생성되게 되고, 이는 실제의 class sample distribution과 다른 분포를 낳는 결과를 도출한다.
이와 다르게 본 논문에서는 Counterfactual sample을 생성하며 다음과 같은 과정을 거친다
1. feature extraction
먼저 “given the fact that Z = z(x)” 를 구하기 위해서 x sample에 대한 attribute z를 추출한다.
이는 다음과 같이 표현할 수 있다. z(x) ∼ Qφ(Z|X = x)
2. apply intervention target y
그 다음 “had Y been y”를 구한다. 기존 방법의 경우 classification model에 x sample을 넣고 예측하는 class y를
사용했지만, 본 논문에서는 intervention target Y=y를 사용한다. (특정 class를 임의로 지정해줌)
3. Prediction
마지막으로 -“X would be x˜” 를 구한다. 방법은 x를 encoding한 Z , (Z = z(x) (fact))와 intervention target Y ( Y = y (counterfact) ) 로부터 sample x˜를 생성한다. ( Pθ(X|Z = z(x), Y = y) )
이렇게 만드는 경우, 기존 방법은 클래스 정보만 있는 상황에서 noize기반으로 생성하였기 때문에 sample간의 feature가 entangle되어있는 sample이 생성되었다면, 이 경우, 특정 sample을 encoding한 정보를 함께 주는 상황에서 생성하기 때문에, 해당 class정보에서 해당 sample에 해당되는 feature만 disentangle하여 sample을 생성한다는 장점이 있다.
이렇게 생성한 sample이 우리는 true unseen class distribution에 속하길 바라는 것이다.
그래서 기존 방법과 비교한 그림이 다음과 같다.
Inference in OSR
OSR에서는 다음과 같이 위의 방법을 활용한다. Counterfactual sample을 기존 y에 대해서 (intervention y) 생성하고,
이때, unknown sample과 distance를 계산해 일정 threshold보다 넘으면 openset으로 분류한다.
이때 자세한 과정은 다음과 같다.
test sample x 와 counterfactual samples x~간의 Euclidean distance를 모두 계산한 다음, 그 중에서 가장 작은 distance를 기준값으로 활용한다. 이때 d_min이 특정 threshold를 넘으면 unseen으로 분류한다.
Counterfactual-Faithful Training
위의 method는 모두 counterfactual-faithful 조건이 만족되야 한다는 것이 중요하다.
그리고 counterfactual-faithful은 다음 조건이 만족되면, 성립하게 된다.
Theorem. The counterfactual generation Xy[z(x)] is faithful if and only if the sample attribute Z and class attribute Y are group disentangled.
(sample attribute Z와 class attribute Y가 disentangle이 되는 경우, couterfactual generation은 faithful하다고 말할 수 있다.)
그래서 appoximation하여 disentanglement를 시도하게 되는데, 다음과 같은 objective를 활용하게 된다.
모든 Loss는 disentanglement를 위함이다.
1) L_z : Disentangling Z from Y
- B-VAE Loss (L_z)를 일단 minimize한다.
- disentanglement 분야를 잘몰라서 정확히는 모르겠지만 B값을 조정하여 Z를 Y distribution에 영향을 받지 않도록 objectieve를 줄 수 있다고 한다. (논문 참고)
2) L_y : Disentangling Y from Z
위의 Loss만으로는 disentangle이 충분하지 않다고 하고, L_y Loss를 추가한다. 이유는 논문에서는 최근 over-parameterized model의 경우 Y없이 noise Z 만으로 sample을 생성하는 경우가 있고, 이는 생성된 sample이 non-faithful한 것으로 leadinig이 가능하다고 한다. 어찌되었든 disentangle term을 더 넣어야 된다.
사용하는 term은 다음과 같이 contrastive loss term을 적용한다.
원래 sample x와 그 sample을 encoding한 후 원래 class를 기반으로 그대로 생성한 sample x_y간의 거리는 가깝게 한다.
그러나 원래 sample x와 다른 class를 intervention하여 생성한 x'과의 거리를 멀게 만든다.
이때 사용하는 dist는 Euclidean distance이다.
이는 똑같은 encoding Z로 부터 class Y에 대해서 intervene되기 전과 후의 차이를 크게 만드는 것이기 때문에 disentanglement에 더욱 도움을 주게 된다.
3) L_F : Further Disentangling by Faithfulness
잘모르겠지만.. VAE의 lower bound를 더 loose하게 하면 더욱 faithfulness를 증가할 수 있다고 한다.
그리고 이를 위해 WGAN을 사용한다. discriminator를 사용해서 원본 x에 대해서는 1에 가까운 값,
생성된 x'에는 0에 가까운 값을 출력하도록 한다.
Experiments
[Implementation detail]
OSR에서 사용된 네트워크는 CGDL에서 사용된 네트워크를 본 논문에서도 사용하였다. (Ladder-VAE)
X는 실제 이미지가 사용된다. openset을 구분하는 방법은 reconstuction error가 사용된다.
result는 F1-score로 측정이 되었다.
CGDL밖에 비교를 안했는데, 자신의 disentanglement 기법이 효과가 있음을 알려주는데, 힘을 쏟았다고 생각한다.
또한 Openness가 커져도 본 논문의 method인 GCM-CF는 강건함을 볼 수 있다.
Summary
- 본 논문은 기존의 ZSL과 OSR 방법에서 주로 사용하는 unseen class에 대한 생성 방법론에 대해 문제점을 제기하고, developed된 unseen class sample을 생성하는 방법을 제시한 논문이다. 기존의 gan 기반 unseen class 생성 방법은 sample간의 feature (attribute) entanglement 현상이 있어 실제로 생성했을 때, true unseen class distribution과 다른 것을 확인할 수 있었다. (seen class에 대한 recall 값이 높은 것으로 간접적으로 증명) 이때, true unseen class distribution에 맞는 sample을 생성하기 위해서 counterfatual faithfulness라는 개념을 가지고 온다. 이는 ICLR 2020 논문에서 수학적으로 증명한 내용인데, 만약 sample을 생성할 때, 생성할 때, 기반이 되는 정보인 Z( feature, attribute), 와 Y (class)가 disentanglement된 다음 제공되면 생성되는 sample이 counterfactual faithfulness, 즉 true unseen class distribution과 유사하다는 것이 보장된다는 것이다.
그래서 이를 기반으로 unseen class sample을 생성하게 되고, 이러한 방법은 기존의 unseen class sample을 생성하는 것 보다 더 정확하게 생성이 가능하기 때문에, 더 좋은 성능을 보였다는 내용의 논문이다.
Pros
문제제기가 잘된 논문이라고 생각한다. 기존 생성모델 기반으로 OSR 문제를 푸는 방식에서 부족한 부분을 잘지적했다고 생각한다. 생성모델의 disentanglement 문제에 대해 잘이해했기 때문에 쓸 수 있는 논문이라고 생각한다.
Cons
다른 OSR 논문들과의 비교가 부족하다고 생각한다. split도 다른 듯 하다. 하지만 논문자체가 OSR이 중심이 아니라 기존의 생성 방법에서 문제점이 있다는 것을 잘지적하고 그에 대해 해결법을 잘제시한 논문이라 다른 method와의 비교가 부족하지만 논문이 되었다고 생각한다.
gp = calc_gradient_penalty(netD, images.data, fake_images.data)
(29. Gulrajani, I., Ahmed, F., Arjovsky, M., Dumoulin, V., Courville, A.: Improved training of wasserstein gans. arXiv preprint arXiv:1704.00028 (2017))
netC.zero_grad() # Classify real examples into the correct K classes with hinge loss classifier_logits = netC(images) errC = F.softplus(classifier_logits * -labels).mean() errC.backward() log.collect('Classifier Loss', errC) optimizerC.step()
논문에서는 실제 이미지와 유사한 openset example을 생성하는 것이 목적이기 때문에 다음과 같이 latent vector를
optimization한다.
이때, z* 를 만들때, openset example은 confidence가 낮다고 가정한다. 그래서 다음과 같이 objective를 설정한다.
이때 second term은 기존의 classifier logit에 unknown class logit을 추가하고, unknown class에 대한 score (logit)값을 0으로 잡은 term이다.
unknown class logit은 0으로 정의했기 때문에 사실상 아래의 첫 항처럼 표현 되서 1이 되는 것이고, 뒷 부분은 known class의 logit값들이다. 이때, 이 term을 minimize하면 known class에 대한 logit이 작아지고, 본 논문에서 정의한 것과 같이 confidence가 낮은 sample, 즉 open example이 생성된다.
이때 생성하는 과정은 다음과 같다.
1. 먼저 trainigset에서 random하게 하나의 image를 sample하여 encoder에 넣는다. ( z = E(x) )
2. 위의 optimization식을 이용해 z*를 만들어낸다.
3. 만들어낸 z*를 이용해 counter factual image를 생성한다. ( G(z*) )
4. 생성된 G(z*) image들을 이용해 K+1 class로 label하여 학습시킨다.
코드는 아래와 같다.
for i in range(max_iters): z = to_torch(z_value, requires_grad=True) z_0 = to_torch(z0_value) logits = netC(netG(z, gan_scale)) augmented_logits = F.pad(logits, pad=(0,1)) cf_loss = F.nll_loss(F.log_softmax(augmented_logits, dim=1), target_label) distance_loss = torch.sum( ( z.mean(dim=-1).mean(dim=-1) - z_0.mean(dim=-1).mean(dim=-1) ) ** 2 ) * distance_weight
total_loss = cf_loss + distance_loss
scores = F.softmax(augmented_logits, dim=1) log.collect('Counterfactual loss', cf_loss) log.collect('Distance Loss', distance_loss) log.collect('Classification as {}'.format(target_class), scores[0][target_class]) log.print_every(n_sec=1) dc_dz = autograd.grad(total_loss, z, total_loss)[0] z = z - dc_dz * speed z = clamp_to_unit_sphere(z, gan_scale) # TODO: Workaround for Pytorch memory leak # Convert back to numpy and destroy the computational graph # See https://github.com/pytorch/pytorch/issues/4661 z_value = to_np(z) del z print(log) z = to_torch(z_value)
-Technical Details of Compared Approaches
위의 과정을 자세히 설명하면 다음과 같다.
먼저 training set을 이용해 encoder, generator, discriminator를 학슶기킨다.
그 이후 학습된 모델들을 이용해서 openset example을 생성한다.
본 논문에서는 6400장의 exemple image를 생성한다.
이 image들을 통해서 K+1 classifier를 학습시키고,
이때 기존에 학습시켰던 K-classifier의 weight를 initial값으로 활용한다.
그리고 Openset metric은 다음과 같이 사용한다.
위 식의 의미는 다음과 같다.
open class로 정해진 확률 - closed class에 정해진 확률에서 가장 큰 값
이렇게 하면 closed class에 큰 값으로 확률이 mapping된 sample의 경우,
그 class에 속할 확률이 높기 때문에 Openset이라는 확률을 줄여주는 방식이다.
Results
- Opinion
Pros
기존의 G-openmax의 경우 DC-GAN을 이용해서 open example을 생성하지만,
본 논문 같은 경우에는 closed set과 유사한 sample을 생성하기 위해 추가적인 optimizaiton식을 사용하는 것이 특징이다.
또한 classifier에 open class를 추가하여 활용하기 때문에 좀 더 좋은 부분이 있다고 생각하긴 한다.
그러나 가장 최신 논문인 placeholder처럼 classifier를 embedding space의 중앙에 위치한다거나 하는 skill이 없기 때문에
성능은 높지 않다고 생각되어진다.
Cons
Open example을 생성할 때 결국 classifier의 confidence 값을 활용하는데, classifier의 현재 featrure extracting하는 능력을 기반으로 이를 판단하고 생성하게 된다. 결국 기존 classfiier가 openset으로 판단하는 능력을 좀더 interpolation하는 기능은 있지만 실제로 openset을 잘 걸러내는 방법이라고 보기는 어렵다고 생각한다. ( 좋은 openset example이라고 할 수 없다고 생각)
-본 논문에서 open space는 original space의 sub-space라고 가정한다.
- 즉,openset 또한 training dataset이 내부에 존재하는 set이라고 생각, 그러므로 openset은 다른 분포의 데이터셋을 포함하지 않는다고 가정한다.
(Thus, in this paper we assume that open space classes belong to a subspace of the original space, which includes known classes. In order to preserve it, we also do not consider an unlikely scenario when the test set contains objects from other datasets. )
- 이러한 가정을 하는 경우, openset problem은 closed set에서 sampling을 하는 문제로 바꿀 수 있다는 점이 장점이다.
(The advantage of building algorithm based on this assumption is that we would turn an open space classification problem into a standard closed set problem by sampling objects from known subspace.)
이때 생성을 하는 방법은 DC-GAN을 이용한다. (논문에서는 VAE에도 적용할 수 있다고 하긴 한다. -맞는 말임)
생성하는 방법은 원래는 특정 Class에 대해서 one-hot vector로 생성하지만, 여기서는 open-example을 만드는 것이 목표이기 때문에 normal distribution을 이용하여 class vector를 생성한다. - we can generate a class mixture vector m ∈ R N using any distribution Pnorm (e.g. Normal distribution) by sampling m1,...,mN−1 from Pnorm, and assigning mN = 1 − ∑ N−1 i=1 mi , such that ∑ N i=1 mi = 1 as for the basis vectors bi ∈ R N. The dimensionality of class subspace space (number of classes) is typically much smaller than the dimensionality of the original space (number of pixels), so the generated open set images will be located is a small nonlinear subspace of it as desired.)
어찌 되었던 이렇게 생성된 unknown sample을 이용해서 Net_G를 학습시킨다.
Openmax는 known class에 대해서 mean vector와 traininig sample에 대해서 disrance들을 구하고 weibull fitting을 진행했고, 이를 통해 logit값을 recalibaration해서 각 class에 이상치인 정도를 openset score로 고려하였다.
이렇게 known class에 대해 이상치에 대한 probability를 계산하고 이를 기반으로 openset score를 구하는 방식을 논문에서는 pseudo probability estimation으로 openset을 추론한다고 표현한다.
그러나 G-openmax는 이러한 pseudo probability estimation을 사용하지 않는다.
GAN을 이용해 생성한 sample을 사용해 직접적으로 openset에 대한 mean vector를 만들고, weibull distribution도 직접적으로 fitting한다. (non-pseudo probability estimation)
그래서 G-openmax의 경우, test time때 input으로 sample이 들어오는 경우 Known class와 Unknown class에 대해 모두 weibull distribution에 대해 이상치 확률값을 도출하고 이를 통해 calibration을 하고 softmax를 통과시킨다.
이때, unknown class를 판별하는 방법은 Weibull model로 calibration을 하고 softmax를 통과해 나온 최종 확률이 특정 threshold값을 넘지 않을때 이다.
- GAN으로 생성된 openset example results
GAN으로 생성된 sample들의 결과이다. MNIST와 같은 경우는 다른 2class의 정보가 섞임으로서, 새로운 8이라던가, 9 class와 같은 모형이 생성되기도 하고, 이는 openset recognition에 도움이 된다고 생각을 한다. 그러나 더욱 복잡한 dataset의 경우 gan으로 sample들을 생성하더라도, openset을 나타내는 sample이라고 보기 어려운 sample들이 생성되었고, 이는 크게 도움이 안되는듯 하다.
(However, we perfomed the same experiment as in [3] and figured out there are no obvious performance improvement by using G-OpenMax over the natural image setting. A more general reason might be that the generated images are not plausible with respect to the training classes in order to be good candidates to represent unknown classes from open space. More specifically, unlike the MNIST and HASYv2 dataset, ImageNet classes enjoy large variety, therefore not many common features are encoded in the learned latent space. Since our method is based on disentangling class information from other object features, the results it produces in this case do not differ much from interpolation in the pixel space.)
Pros
GAN을 이용해 Openset example을 생성한다는 idea가 재밌긴 하다.
idea 자체는 closed set의 sample들을 조합해서 training data가 나타내지 못하는 open-sub space공간을 GAN으로 생성하겠다는 것이다. 그러나, open space를 기존 training sample로 채운다는 것이 쉽지 않은 방법이라고 생각한다.
그래서 MNIST와 같은 간단한 데이터셋에 대해서는 이게 가능하지만, IMAGENET과 같은 real-image에서는 잘안되는 것을 확인할 수 있다.
Cons
간단한 데이터셋에서 밖에 안되는 것이 사실 큰 단점이다.
그래도 interpolation 개념을 가져와 open example을 생성하는 개념은 재밌는 생각이다.
