오픈소스에 대한 프로젝트에 참여해보고서 딥러닝과 컴퓨터비전에 대한 흥미가 생겼습니다. 모델을 직접 훈련시키고 이 모델이 제대로 작동했을 때 그 짜릿함이 저를 이 분야로 이끌었고 이 잠깐의 짜릿함에 계속 다양한 공부를 이어나가고 있지 않나 싶습니다.
저는 딥러닝 분야에 대한 좀 더 깊은 공부를 해보고 싶어서 학교 안에 있는 MLPA라는 연구실에 학부연구생으로 들어갔습니다. MLPA는 Machine Learning과 Pattern Analysis의 철자를 딴 것으로 딥러닝을 이용한 헬스케어를 중점으로 다양한 딥러닝 모델, 컴퓨터 비전에 대한 연구를 진행하는 연구실이기에 더 깊은 공부를 진행할 수 있을 것이라고 생각했습니다.
연구실 내부적으로 일주일에 한 번 미팅과 딥러닝 논문에 대한 세미나를 진행했고 또 현재 진행하고 있는 프로젝트에 대한 진행 상황을 브리핑했습니다.
인공지능이 본격적으로 기술시장에 발을 들여놓은 때는 1943년부터라고 합니다. Warren McCulloch와 Walter Pitts는 최초로 뇌의 뉴런에 대한 개념을 발표했고 이후 1950년 ‘이미테이션 게임’이라는 영화 주인공인 Alan Turing이 인공지능이 사람과 같은 지능을 가졌는지 테스트할 수 있는 ‘Turing Test’를 발표하면서 인공지능은 대중들의 관심을 받게 됩니다. 이후 하드웨어의 한계 등 여러가지 이유로 인공지능에 대한 연구는 잠잠해졌고 우여곡절 끝에 딥러닝 분야에서 2013년 ‘Alexnet’이라는 CNN기반의 압도적인 성능을 지닌 모델이 챌린지에 선보이며 다시금 많은 사람들의 관심을 받게 되었습니다. 세미나를 통해 Alexnet 이후의 다양한 논문들을 읽고 발표를 준비해보겠습니다.
이번에 제가 준비한 세미나는 Visualizing and Understanding Convolutional Network이라는 논문을 기반으로 하였습니다. 이번 논문은 Alexnet이 Imagenet challenge에서 뛰어난 성능을 보여주어 그 성능을 보일 수 있었던 이유를 분석하고 시각화하여 최종적으로 새로운 높은 성능의 모델을 만들어 냅니다. 본 논문에서는 새로운 모델에 대한 호칭이 드러나 있지 않지만 편의를 위해 ‘ZFnet’이라고 칭하며 글을 이어나가겠습니다.
2013년 Alexnet이 큰 성과를 거두고 연구자들은 성능에 대한 이유에 대해 연구했습니다. 이 논문의 초점은 Visualization입니다. Alexnet의 CNN을 시각화 해보고 새로운 방법을 제안하여 기존의 Alexnet의 보완점을 개선한 새로운 모델을 제안했습니다.
위 논문에서는 LeNet과 AlexNet 두 가지 CNN모델을 분석합니다. 먼저 LeNet에 대한 구조를 언급하며 AlexNet에서 개선된 점에 초점을 맞춥니다.
LeNet 구조
위의 그림과 같이 LeNet의 구조는 Convolution가 Subsampling 그리고 Fully Connect 레이어로 구성되어 1개의 GPU로 많은 계산량을 처리하는 반면
AlexNet 구조
GPU를 2개로 보강함으로써 더 발전된 계산 능력으로 더 많은 데이터를 Dropout과 같은 효율적인 전략으로 Network를 구성했기 때문에 성공적인 실험이 가능했습니다.
Network의 구조를 보기 위해 ZFnet은 Deconvolution이라는 방법을 제안합니다. 말 그대로 기존의 CNN구조를 거꾸로 거슬러 올라가면서 Network의 Layer에서 어떤 일이 발생하는지 지켜보는 것 입니다.
