[UDL 스터디 노트] 2장 - Supervised learning

개요

해당 포스팅 시리즈는 “Unerstanding Deep Learning” 책을 학습하는 과정을 기록하는 스터디 노트이다.

이번에는 2장, Supervised learning에 대해 다룬다.

2장에서 다루는 supervised learning을 흐름을 따라가며 읽다보니, 여기에서 말하는 “학습”이란 무엇인가에 대해 생각해볼 수 있었다.

여기에서 다루는 “training”이라 한다면 모델 에 대한 loss function 이 최소가 되도록하는 parameter, 를 구하는 것이었다.

결국 모델을 “학습”한다는 것은 설계된 blackbox에 대해 적절한 parameter를 찾는 것이었다.

이전까지는 학습이라고 한다면 그저 막막하게 느껴졌는데, 이렇게 수식으로 정리하니 “학습”에 대한 개념이 확실해지는 듯 하였다.

UDL 책의 PDF에는 Interactive figure를 지원하는데, 이는 책에서 나오는 그래프들의 값들을 조작해보며 쉽게 이해할 수 있게 해주는 웹페이지이다.

위는 Interactive Figure 웹페이지로 이어지는 링크이다.

책에서 나온 그래프를 움직이며 조작해보니 되게 신기하였고, 그래프와 그와 관련된 개념을 더욱 입체적으로 이해할 수 있었다.

2장의 마지막 부분에서 Loss function과 Cost function의 차이에 대해서 다루었는데, 이를 처음 보았을 때는 조금 이해되지 않았다.

Loss function은 데이터 셋에 있는 하나의 데이터 에 대한 불일치를 지칭한다면, Cost function은 데이터 셋의 모든 데이터들 에 대한 전체적인 불일치를 지칭하는 말이라 설명을 하였다.

따라서 Loss function에는 least-squares가 적용된다면 각각의 에 대해서 Loss function을 으로 정의할 수 있고, Cost function은 으로 정의할 수 있다고 이해하였다.

또한 이런 loss function과 cost function을 통틀어서, 학습 과정에서 최소화 또는 최대화 되야 하는 함수를 일반적으로 objective function이라고 부른다는 것 또한 처음 알게 되었다.

지금까지 논의해왔던 형태의 식으로 나타내어지는 모델은 discriminative model 이라고 부른다고 한다.

반대로, 이와 다르게 형태의 식으로 나타낼 수 있는 모델을 새롭게 generative model 이라고 불렀다.

이는 discriminative model이 실제 측정값 에 기반해 결과 를 예측하는 모델인 것에 반해, generative model은 결과 를 가지고 기반값 를 생성하는 모델이라고 이해하였다.

실제로 쓰이는 generative model 중 이미지 생성 모델을 예시로 떠올리며 이해해보자면, 모델에게 임의의 이미지에 대한 설명 라벨 가 주어지면, 모델 를 통해서 라벨 를 내놓을 것 같은 가상의 이미지 를 “생성”하는 모델이라고 생각해볼 수 있었다.

[1] Prince, S. J. D. (2023). Understanding Deep Learning. The MIT Press. Retrieved from http://udlbook.com