Abstract 깊은 neural network일수록 훈련이 어렵다는 단점을 보완하기 위해 residual learning framework를 제안한다. 이를 이용해 이전보다 더 깊은 Network를 가능하게 하며 훈련이 더 쉬워지게 하고, classification뿐만 아니라 detection, segmentation 등 다른 비전분야에서도 높은 성능을 보인다는 장점을 제시한다. 1. Introduction image classification과 backpropagation등은 이미지 분류에 큰 돌파구로 역할을 하며 여러 feature, level 등을 분류하게 되었다. 이 과정에서 layer의 depth에 관련해 더 많은 레이어를 쌓을수록 네트워크의 훈련이 쉬워질까라는 질문이 떠오르게 되었는데, 기울..
https://arxiv.org/abs/1502.03167 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful param arxiv.org Abstr..
https://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf https://arxiv.org/pdf/1609.04747 Overview of mini-batch gradient descent Reminder: The error surface for a linear neuron linear neuron의 error surfaces는 2차 보울(그릇) 형태를 갖는다. multi layer, non-linear nets의 경우에는 훨씬 복잡한 형태의 error surface를 갖지만, 부분적으로 2차 보올 형태를 대략 차용한다. (locally) Convergence speed of full batch learning when the err..
