Learning to Learn

라그랑주 승수법이란, 제약조건이 있는 최적화 문제를 풀기위해 만든 방법이다.

만약 f(x,y)라는 함수의 최대값 or 최소값 문제를 풀어야 하는데 g(x,y) = c라는 제약조건이 있는 경우 어떻게 풀어야 하는지에 대한 문제이다.

아래의 예시를 보자.

여기서 f(x,y)는 위의 직선의 방정식을 의미하며, g(x,y)=c는 원방정식을 의미한다. 이때 f(x,y)=x+y 이며, g(x,y)=x^2+y^2=1이 된다. 즉, x^2+y^2=1, 을 만족하면서 x+y가 최대가 되는 x,y값을 찾고 싶은 것이다.

라그랑주 승수법에서는 f, g의 접하는 지점을 찾아서 최적화 문제를 해결하고(접하는 지점이 바로 특정 제한조건을 만족하면서 최소 or 최대가 되는 지점이기 때문, 위의 그림에서 생각해보기) 접하는 지점을 찾기 위해서 gradient vector를 활용한다. 

이때 함수 f의 gradient vector는 다음과 같다.

이때 접선벡터와 gradient vector 간의 내적(dot product)은 0이되고, 즉 수직을 이룬다.

이 말은 f,g가 접한다는 것은 두 함수의 gradient vector가 상수배의 관계가 있다는 것을 의미하고, 다음과 같은 식으로 나타낼 수 있다. (위 그림으로 생각해보기)

그리고 위의 식을 만족하는 (x,y)를 구하면 f,g가 접하는 점을 찾을 수 있다.

라그랑주 승수법에서는 (2) 식을 풀기 위해 (2)식과 동치인 식을 따로 정의한다.

(3)식은 (2)식을 적분한 꼴이며, 이 식을 만족시키는 해를 찾는 것이 (2)식을 만족시키는 것과 같기 때문에 

(3)식을 대신해서 푼다. 이때, (3)식을 x, y에 대해서 편미분하여 나온 식을 풀고, 제약조건 g까지 총 3개의 식을 사용하여

미지수 x,y를 구할 수 있다.

이때, 제약조건이 여러개인 경우는 다음과 같이 표현된다.

https://untitledtblog.tistory.com/96