Abstract 해당 논문에서는, 다양한 유형의 RNN을 비교한다. 특히 LSTM과 GRU와 같이 gate를 활용하는 메커니즘 구현에 초점을 맞춰 구현을 진행하게 되고, polyponic muis modeling과 speech signal modeling을 통해 평가를 진행한다. 해당 실험을 통해, tanh를 활용한 전통적인 방법보다 advanced recurrent unit를 활용하는 것에서 훨씬 좋은 성능을 보이는 것을 입증시켰으며, GRU와 LSTM에 대한 비교가 가능하다는 것을 확인하였다. 1. Introduction RNN은 입출력의 길이가 가변적인 경우에 유망한 결과를 보인다. 입력, 출력이 가변적이라는 의미는 '번역' 과정을 떠올리면 이해가 수월하다. 하지만 vanilla RNN으로는 거의 ..
Abstract 깊은 neural network일수록 훈련이 어렵다는 단점을 보완하기 위해 residual learning framework를 제안한다. 이를 이용해 이전보다 더 깊은 Network를 가능하게 하며 훈련이 더 쉬워지게 하고, classification뿐만 아니라 detection, segmentation 등 다른 비전분야에서도 높은 성능을 보인다는 장점을 제시한다. 1. Introduction image classification과 backpropagation등은 이미지 분류에 큰 돌파구로 역할을 하며 여러 feature, level 등을 분류하게 되었다. 이 과정에서 layer의 depth에 관련해 더 많은 레이어를 쌓을수록 네트워크의 훈련이 쉬워질까라는 질문이 떠오르게 되었는데, 기울..
https://arxiv.org/abs/1502.03167 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful param arxiv.org Abstr..
https://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf https://arxiv.org/pdf/1609.04747 Overview of mini-batch gradient descent Reminder: The error surface for a linear neuron linear neuron의 error surfaces는 2차 보울(그릇) 형태를 갖는다. multi layer, non-linear nets의 경우에는 훨씬 복잡한 형태의 error surface를 갖지만, 부분적으로 2차 보올 형태를 대략 차용한다. (locally) Convergence speed of full batch learning when the err..
https://www.acmicpc.net/problem/21610 21610번: 마법사 상어와 비바라기 마법사 상어는 파이어볼, 토네이도, 파이어스톰, 물복사버그 마법을 할 수 있다. 오늘 새로 배운 마법은 비바라기이다. 비바라기를 시전하면 하늘에 비구름을 만들 수 있다. 오늘은 비바라기 www.acmicpc.net 개요 오늘 하루는 이 녀석에 부서졌다. (몇 시간을 잡고 씨름하다가 구글링으로 찾은 정다보드와 비교해보니 로직이 같은데 왜 나만...) 아직 100% 이해가 안된 것 같음. 어거지로 정답이 나오긴 했지만 아직 의문점이 좀 존재 문제 풀이 감 좀 찾으려고 골드 5 구현 문항만 골라 풀었는데, 이제 슬슬 다른 알고리즘 공부도 병행하려 한다. 해결 방법 dfs, bfs 문항에서 흔히 다루는 초기..
https://www.acmicpc.net/problem/20055 20055번: 컨베이어 벨트 위의 로봇 길이가 N인 컨베이어 벨트가 있고, 길이가 2N인 벨트가 이 컨베이어 벨트를 위아래로 감싸며 돌고 있다. 벨트는 길이 1 간격으로 2N개의 칸으로 나뉘어져 있으며, 각 칸에는 아래 그림과 같이 1부 www.acmicpc.net 개요 문제를 이해하는 게 가장 어려웠던 문항 정말 "구현" 문제인게 원하는 대로 따라가다보면 정답에 도달하는 구성 해야할 것만 차근차근 해나가는 느낌 조건 놓치지 않는 꼼꼼함이 이런 류의 문제에 가장 필요하지 않나 해결 방법 문제에는 2차원 배열로 표시되어 있지만 1차원 배열로도 충분히 구현 가능 weight : 내구도 배열 robots : 로봇 위치 배열 ~ 존재하면 1, ..
https://www.acmicpc.net/problem/5430 5430번: AC 각 테스트 케이스에 대해서, 입력으로 주어진 정수 배열에 함수를 수행한 결과를 출력한다. 만약, 에러가 발생한 경우에는 error를 출력한다. www.acmicpc.net 개요 구현의 어려움보다는 시간 초과의 해결이 더 메인이었던 문항 어찌저찌 정답이 뜨긴 했는데 이유를 잘 모르겠음 해결 방법 첫 줄에 입력받는 n 만큼 순회 세번째 입력이 리스트 타입으로 보이지만, 문자열의 형태로 들어오는 것이므로 추가적인 변환 필요 rstrip(), split() 메서드는 꾸준히 활용됨 error_flag 는 빈 배열에서 "D" 명령을 내릴 시 error를 발생시킬지 유무를 나타냄 reverse_cnt 는 두번째, 세번째 해결 코드 작..
https://www.acmicpc.net/problem/14503 14503번: 로봇 청소기 첫째 줄에 방의 크기 $N$과 $M$이 입력된다. $(3 \le N, M \le 50)$ 둘째 줄에 처음에 로봇 청소기가 있는 칸의 좌표 $(r, c)$와 처음에 로봇 청소기가 바라보는 방향 $d$가 입력된다. $d$가 $0$인 경우 북쪽 www.acmicpc.net 개요 사실 해결이 안됨 -- 모티브로 삼은 정답 코드와 어떤 차이가 있는지도 모르겠고, 흐름이나 로직 모두 완벽한듯 한데.. 앞서 포스팅한 문제처럼 해결 방법이 무궁무진한 "구현" 문항. 처음에 재귀 함수(dfs꼴)로 시도했다가 무수한 실패 끝에 단순 구현만으로 해결 시도 해결 방법 방향 1 : 재귀 함수 활용 is_empty 함수 : 상하좌우 방..
