[업데이트 : 2021-12-06]
논문 : Network In Network
2014년에 발표된 Network In Network 논문의 Summary 겸 리뷰를 적어보려고 한다.
글을 쓰기에 앞서, 공부를 위해 논문을 보며 요약, 작성한 내용이라 간혹 오역이나 잘못된 내용이 있을 수 있다.
핵심 키워드는 highlight를 해두었다. 틀린 부분은 댓글로 알려주시면 감사하겠습니다^^
Abstract
저자는 수용 영역 내에서 모델의 판별 가능성을 향상시키기 위해 Network In Network 라는 새로운 심층 네트워크 구조를 제시한다. (이하 NIN)
기존의 Covolutional 모델은 비선형 활성화 함수와 함께 선형 필터를 사용한다.
반면, NIN은 기존의 Covolutional 모델보다 수용 영역내에서 데이터를 더 복잡하게 추상화할 수 있는 micro neural network를 사용한다. 다층 퍼셉트론을 사용하였으며, feature map도 기존 모델과 유사한 방식으로 추출한다.
앞서 사용한 micro neural network를 통해 향상된 모델을 통해 global average pooling을 활용한다. global average pooling을 통한 이점은 해석이 쉽다는 점과 전통적인 fully connected layer에 비해 과적합(overfitting)이 될 가능성이 적다는 점이다.
CIFAR-10, CIFAR-100의 데이터를 사용하여 classification 하였고 SVHN과 MNIST 데이터셋을 활용하였다.
Introduction
기존 CNN모델에 대해 설명하고 있다. CNN모델은 Convolution layer와 pooling layer로 구성되어 있다. 앞서 말했듯, 비선형 활성화 함수와 선형 필터를 사용하여 나온 결과를 feature map이라고 한다.
CNN의 convolution filter는 데이터 패치에 대한 일반화된 선형 모델(GLM : Generated Linear Model)이다. 저자는 GLM에서 추상화 수준이 낮다고 주장한다. 이 GLM을 더 강력한 비선형 함수 approximator로 대체한다면 훨씬 성능을 향상시킬 수 있다고 주장한다.
GLM은 숨겨져있는 샘플들이 선형화되었을 때 잘 추상화된 GLM에 의해
Convolutional Neural Networks
---ing