[딥러닝] 머신러닝 핵심이론 짚고가기

출처: t.ly/Miw7

수업에서 최소 5번 본 인공지능, 머신러닝 그리고 딥러닝 간의 관계를 나타낸 그림입니다. 영문 위키피디아에서 발췌한 각 단어의 정의는 다음과 같습니다. 

인공지능: 자신을 둘러싼 환경을 인식하고 그에 맞는 행동을 취함으로써 목표를 성취할 가능성을 최대화하는 장치
머신러닝 : 경험 E를 통해 주어진 T에 대해 P로 측정한 값이 향상되는 프로그램
딥러닝: 표현 학습(=feature learning)을 동반한 인공신경망을 기반으로 한 머신 러닝의 일종

오늘 수업에서는 이 정의들에 대해, 자신을 둘러싼 환경을 '데이터', 그에 맞는 행동을 '모델', 목표 성취를 '기능'으로 정리해 문제 해결을 위한 도구로 인공지능에 대한 개념을 명확히 하였습니다. 

2. 모델이란

그렇다면 모델이란 무엇일까요? 

인공지능이 '주어진 데이터 (input)'를 학습하여 목표(output) 를 성취하기 위해 수행해야 하는 행동 (그림에서의 $f(x)$ = 함수, 알고리즘 등)을 말합니다. 
가장 기본적인 모델로는 선형 회귀에서의 $ ax+b $ 를 예로 들 수 있습니다.

3. 학습이란

input되는 데이터를 가장 잘 설명하는 모델, 즉 함수를 만들기 위해 평가 및 개선을 반복하는 과정입니다. 
1) 맨 처음 데이터에 맞는 초기 모델(가설)에 데이터를 적용한 결과를 얻은 후
2) 얻은 결과를 cost function, accuracy 등을 통해 평가하고
3) 결과를 개선하기 위해 hyper-parameter를 변경하거나 모델의 종류를 바꿉니다. 
학습이란 위 과정을 반복해 실제 정답과 예측 결과 사이의 오차를 최소화, 즉 모델을 최적화시키는 과정을 말합니다. 

4. Cost function 와 Gradient Descent Algorithm 이란

Cost function, 비용 함수의 일반적인 표현은 다음 수식과 같습니다. 

$ J(\theta) = \frac{1}{m}\sum_{i=1}^{m} ( h_\theta   ( x ^{(i)}) - y ^ {(i)} ) ^2 $

비용 함수는 예측 값과 실제 값의 차이를 판단하기 위한 함수로, cost (=error) 가 최소가 되는 $ \theta $ 를 찾는 것이 우리의 목표입니다. Gradient Descent Algorithm 경사하강법이란 이 비용 함수의 $ y $ 값이 작아지는 방향 (= 미분계수가 음수인 방향, 경사가 아래로 향하는 방향)으로 점진적으로 내려가면서 cost를 최소로 만드는 $ \theta $ (parameter) 를 찾는 방법입니다.