안녕하세요. 문범우입니다.
이번 포스팅에서는 dropout과 model ensemble에 대해서 살펴보도록 하겠습니다.
* 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.
관련한 상세 내용은 아래 링크를 참고해주세요.
1. Dropout
우리가 dropout을 하는 이유는 바로 아래와 같은 overfitting 때문입니다.
우리가 과거에 알아봤던 것처럼, 훈련 data에 있어서는 100%의 accuracy를 내지만, 실제로 test data에 있어서는 높은 예측율을 내지 못하게 되는 현상이죠.
위와 같이, 파란색 그래프, training 에서는 에러율이 점점 낮아지지만, 실제로 빨간색 그래프처럼 test data를 통해 확인해보니 어느 시점부터 에러율이 더 증가하게 됩니다.
이러한 overfitting은 우리가 더 깊게 만들수록 일어날 확률이 커집니다.
왜냐하면 더 깊어질수록 더 많은 변수가 생기기 때문입니다.
그럼 이를 해결하기 위해서는 무슨 방법이 있을까요?
첫번째로는, 더 많은 데이터를 훈련시키는 것입니다.
또는 feature를 줄여주는 방법도 있을 것입니다.
그리고 우리가 예전에 간단히 알아봤던, Regularization 이라는 방법이 있습니다.
우리가 예전에 알아봤던 것처럼, 위의 식과 같이 처리함으로써 Regularization을 하는 L2regularization도 있습니다.
그리고 Neural Network에서는 또다른, dropout이라는 방법이 있습니다.
dropout이란 쉽게 말해서, 위 그림에서 왼쪽 그림과 같은 모델에서 몇개의 연결을 끊어서, 즉 몇개의 노드를 죽이고 남은 노드들을 통해서만 훈련을 하는 것입니다.
이때 죽이는, 쉬게하는 노드들을 랜덤하게 선택합니다.
쉽게 말해 각 노드들을 어떤 전문가라고 생각해본다면 랜덤하게 몇명은 쉬게하고 나머지만 일하게 합니다.
그리고 마지막에는 모든 전문가들을 총 동원해서 예측을 하게 합니다.
이러한 아이디어가 dropout 입니다.
실제로 텐서플로우에서 구현하기에도 어렵지 않게 가능합니다.
우리가 원래 만들었던 layer를 dropout함수에 넣어서, 몇 퍼센트의 노드가 일하게 할 것인지 함께 적어줍니다.
위의 코드를 보면 Train에서는 0.7, 즉 70%의 노드들이 랜덤하게 훈련되게 하였습니다.
그리고 실수하면 안되는 점이 Evaluation 과정에서는 dropout_rate를 1로 함으로써 100%의 노드들을 참가시키도록 해야 합니다.
2. Ensemble
우리가 추후, 학습시킬 수 있는 장비가 많을때 사용할 수 있는 또 하나의 방법도 있습니다.
Ensemble이라고 하는 것인데, 위와 같이 여러개의 독립적인 모델을 만듭니다. 이때 훈련 데이터셋은 별도로 해도 되고, 모두 같은 훈련 데이터셋을 이용해도 상관 없습니다.
이때 각 모델의 초기값이 서로 다르기때문에 결과도 약간씩 다를 것입니다.
그리고 이후에 독립적인 모델들을 모두 합쳐서 한번에 예측을 하게 합니다.
즉, 이것은 전문가 한명에게 어떤 질문을 하는 것이 아니고 서로 독립적인 전문가 다수를 모아두고 질문을 하는 것과 같습니다.
실제로 Ensembel을 이용하면 2%~5%까지도 예측율이 올라간다고 합니다.
'AI & BigData > 모두를 위한 딥러닝(정리)' 카테고리의 다른 글
| 딥러닝(DeepLearning) #7_CNN(Convolutional Neural Networks) introduction (0) | 2018.05.03 |
|---|---|
| 텐서플로우(Tensor Flow) #14_ Neural Network 총정리::MNIST 98%성공하기 (0) | 2018.04.21 |
| 딥러닝(DeepLearning) #5_ Restricted Belief Machine & Xavier initialize (0) | 2018.04.20 |
| 딥러닝(DeepLearning) #4_ ReLU::Rectified Linear Unit (0) | 2018.04.19 |
| 텐서플로우(Tensor Flow) #13_ TensorBoard 사용하기 (0) | 2018.04.19 |