CS STUDY

이번 포스팅에서는 Deep Residual Learning for Image Recognition 논문을 리뷰해 보겠다. Abstract Deep neural network는 훈련하기 더 어렵다. 논문의 저자들은 residual framework를 이전보다 깊은 network들을 쉽게 훈련시키기 위해 제시했다. 이들은 참조되지 않은 함수를 학습하는 대신 input layer를 기준으로 learning residual functions로 층을 명시적으로 재구성했다. 이들은 포괄적인 경험적 증거를 제공했는데 이러한 residual networks가 최적화 하기 쉽고 상당히 증가된 깊이로부터 accuracy를 얻을수 있다는 것을 보여준다. ResNet 구조는 ILSVRC 2015에서 1등을 차지했다. Intr..

이번 포스팅에서는 Network in Network 논문을 리뷰해보겠다. Google Net에서 NIN모델을 이용했다는데 이 점이 궁금하여 이 논문을 읽어보았다. Abstract 이 논문의 저자들은 network in network 이라는 새로운 deep network structure를 제안했다. 수용장 내에서 local patches의 모델 차별성을 향상시키기위해 전통적인 합성곱층은 input을 scan한 비선형 활성화함수 뒤에 선형 필터를 사용했다.대신 이들은 수용장 내에서 데이터를 추출하기위해 더 복잡한 구조인 micro neural network를 만들었다. 이들은 다층 퍼셉트론으로 micro neural network를 인스턴트화 했는데 이것은 potent function approximato..

이번 포스팅에서는 GoogleNet논문(Going deeper with convolutions)을 리뷰하고 구현해 보겠다. 이 논문의 저자들은 Inception이라고 불리는 깊은 합성곱 신경망을 제안했다. 이는 ILSVRC-2014에서 classification과 detection 부분에서 최첨단의 기술을 보였다. Introduction 논문의 저자들의 GoogleNet은 AlexNet보다 12배 적은 파라미터를 사용했는데 더 정확했다. 이 논문에서 이들은 computer vision분야의 효율적인 deep neural network architecture에 focus를 맞추었다. Inception이라고 불리는 구조를 사용했다. Related Work network-in-network방법은 1x1 합성곱..

이번 포스팅에서는 VGG 논문을 리뷰하고 구현해 보겠다. Abstract 논문 저자들의 주되 기여는 매우 작은 (3x3) 합성곱 필터를 가진 구조를 사용하여 깊이가 증가하는 네트워크를 철저히 평가하는 것이다. 이는 깊이를 16~19층으로 구현하면서 선행 기술 구성의 상당한 향상을 달성할 수 있다는 것을 보여주었다. 이 저자들의 팀은 2014년 ImageNet challenge에서 locaslisation과 classification에서 각각 1등과 2등을 차지했다. Introduction 이 논문에서 저자들은 ConvNet의 깊이 구조에 초점을 맞추었다. 이를 위해서 읻르은 5가지의 파라미터를 고정시켰고, 합성곱 층을 더 추가하면서 network의 깊이만 증가시켰는데 이는 매우 작은 (3x3) 합성곱 필..

이번 포스팅에서는 AlexNet 논문을 리뷰하고 구현해 보겠다. Abstract 이 논문의 저자들은 1.2million images를 LSVRC-2010 contest 에서 1000개의 클래스로 분류했다. top-1 과 top-5 오류율은 각각 37.5%, 17.0% 였고, 이는 이전에 비해 상당히 발전된 성능이였다. 이 network는 60million 파라미터와 650,000개의 뉴런으로 구성되어있고, 5개의 합성곱층, 그리고 그 뒤에 바로 이어지는 maxpooling층으로 구성되어있다. 그다음 3개의 완전 연결층으로 연결되어있고, 활성화 함수는 softmax 함수를 사용했다. 더 빨리 학습하기 위해서 포화되지 않은 뉴런을 사용했다. 과대적합을 막기 위해서 완전연결층에 dropout 기법을 사용했다...