Broccoli's House

※ 이 글의 내용은 O'REILLY의 책을 기반으로 한다. 학습 관련 기술 : 오버피팅 억제 오버피팅 - 오버피팅(과대적합, Overfitting) : 머신러닝에서 과대적합(Overfitting)은 큰 문제 중에 하나이다. 과대적합이란 머신러닝(여기서는 신경망) 모델이 너무 과한 학습으로 인해 훈련 데이터에만 지나치게 적응되어 그 이외의 시험 데이터에 대해서는 제대로 대응하지 못하는 것을 말한다. - 머신러닝에서는 다양한 상태에 대하여 일반적인 성능을 내는 모델을 지향하므로, 훈련 데이터에 없는 상황이 주어지더라도 올바른 결과를 내는 모델이 더 좋은 모델이다. 따라서 복잡하고 표현력이 좋은 모델을 만들면서도, 과대적합을 억제하는 기술이 중요해지는 것이다. - 위와 같은 모델이 과대적합된 모델이다. 훈련 ..

※ 이 글의 내용은 O'REILLY의 책을 기반으로 한다. 학습 관련 기술 : 배치 정규화 배치 정규화 - 배치 정규화(Batch Normalization) : 신경망의 골치 아픈 점은 바로 기울기 소실 문제(Gradient Vanishing Problem)이 발생한다는 것이다. 이 문제를 해결하기 위하여 시그모이드(sigmoid)나 하이퍼탄젠트(tanh) 함수에서 렐루(ReLU)로의 활성화 함수 변화, 가중치의 초기값 설정 등의 방식을 채용하였다. 가중치의 초기값을 적절히 설정하면 각 층의 활성화 값 분포가 적당히 퍼지면서 학습이 원활하게 수행된다. 이러한 점에 착안하여 각 층의 활성화 값을 강제로 퍼뜨리는 것이 바로 배치 정규화이다. - 보통의 경우 신경망 모델에 데이터를 입력하기 전에 전체 데이터 ..