Scale and Shift

배치 정규화-속도 향상 미세조정|Neural Network

이전 투고에서는 Batch Norm(배치 정규화)이 어떻게 동작하는지 설명하고, Tensor flow에서 어떻게 사용될 수 있는지를 알아보았습니다. 이번에는 Batch Normalization에 관한 이 시리즈를 완료하기 위해서 기억해야 할 코드를 통해 알아보도록 합시다. 디폴트 상태로 실행했다면 모델의 정확도가 올라가지 않아 BN이 무용지물이 되었을 것인데요. 중요한 하이퍼 파라미터인 BN의 모멘텀을 설정하지 않았기 때문입니다. Momentum 앞서 설명한 바와 같이, Momentum은 추론을 위한 밀집된 부분의 평균을 계산할 때 이전 이동평균에 주어진 중요성 중요도이다. Momentum이 어떤 건지 모를 경우 Tensorboard에서 조정할 수 있는 것은 Smoothing 뿐이고요. 운동량은 학습 평..

배치 정규화-신경망 훈련 속도 향상|Neural Network

뉴럴 네트워크(Neural Network) AI의 기본 구성 요소 중 하나로 매우 매우 복잡하게 이루어져 있다. 뉴럴 네트워크를 사용하는 경우의 중요한 문제 중 하나는 CPU는 물론 GPU에서도 네트워크의 트레이닝에 시간이 오래 걸린다는 것이다. 신경 네트워크는 Back Propagation 알고리즘을 사용하여 문제을 진행한다. 역전파(Back Propagation)를 통해 뉴런은 얼마나 많은 오차를 발생했는지를 학습하고 스스로 오차를 수정한다. 즉, "weights"와 "biases"를 수정한다. 이것에 의해, 입력이 주어졌을 때 올바른 출력을 생성하기 위해 문제를 학습한다. Back Propagation 에는 각 레이어의 구배를 계산하여 역방향으로 전파하는 작업이 포함되어 있다. [The BackPr..