Xavier Initialization

Understanding the difficulty of training deep feedforward neural networks

[논문리뷰] ABSTRACT Random Initialization을 사용한 일반적인 Gradient-descent 알고리즘이 Deep neural network에서 약한 성능을 내는가 Random Initialization을 적용한 Logistic sigmoid 활성화 함수는 평균값 때문에 Deep network에 적합하지 않다. 상위 layer를 포화(saturation)하게 만든다 본 논문에서는 상당히 빠른 수렴을 가져오는 새로운 Initialization Scheme를 도입한다. Deep Neural Networks 딥러닝은 추출한 특징을 이용하여 특징 계층을 학습하는 것을 목표로 하여 진행한다. 추출한 특징 : 낮은 수준의 Feature들의 합성을 통해 만들어진 높은 수준의 Layer로 부터 추..