[ML] Residual Block을 활용한 ResNet(Residual Network)

🔊 해당 포스팅은 권철민님의 CNN Fundamental 완벽 가이드 강의를 듣고 난 후 배운 내용을 정리하고자 하는 목적 하에 작성되는 포스팅입니다. 하단의 포스팅에서 사용되는 실습 코드 및 자료는 필자가 직접 재구성한 자료이며 권철민님의 자료를 그대로 인용하지 않았음을 필히 알려드립니다. 

 

이번 포스팅에서는 Skip Connection 이라는 개념을 최초로 활용해서 Residual Block을 연속적으로 쌓아 매우 깊은 네트워크를 형성했음에도 불구하고 이전 CNN 분류 모델인 GoogleNet 보다 더 높은 성능을 이끈 ResNet에 대해 알아보고자 한다.

 

ResNet은 Residual Block이라는 블록을 이용한다

---

1. ResNet은 왜 등장했을까?

원초적인 질문으로 돌아가보자. 저번 포스팅에서 배운 GoogleNet도 성능이 나름 괜찮은 편이였는데, 왜 새로운 ResNet이 등장했을까? 당연히 GoogleNet 보다 더 좋은 성능을 만들어내기 위함이 주요였을 것이다. 그런데 GoogleNet 보다 더 좋은 성능을 이끌기 위해서 그동안 해왔던 방법인 커널 사이즈를 튜닝하거나 Dropout, Weight Decay와 같은 여러가지 기법을 사용해보았지만 한계점에 도달했다. 결국 GoogleNet 보다 더 깊은 네트워크를 쌓아야 좋은 성능을 이끌어낼 수 있을 것 같은데 깊은 네트워크를 쌓게 된다면 Gradient Vanishing(기울기 소실)과 같은 치명적인 문제를 발생시킨다. 그래서 네트워크를 깊게 쌓으면서도 기울기 소실 문제를 발생시키지 않는 방법이 무엇일까 하는 것에서 출발해 ResNet이 등장하게 되었다.

2. Gradient Vanishing을 막으려면?

그렇다면 기울기 소실은 어떻게 막을 수 있을까? 연구자 분들은 Identity Mapping이라는 것에 주목했다. Identity Mapping은 간단하게 말해서 입력을 어떤 특정한 함수에 들어가게 한 후 나온 출력이 입력과 동일한 것을 의미한다. 바로 아래와 같이 말이다.

 

Identity Mapping

 

그런데 이를 CNN에 적용하는 것은 사실상 불가능하다. 왜냐하면 위 Identity Mapping이 가능하게 하는 것은 똑같은 $x$값을 나오게 하는 활성함수인 $f(x)$가 적어도 선형함수여야 한다는 것이다. $y = x$ 처럼 말이다. 그런데 CNN은 알다시피 활성함수를 Relu 같은 비선형 함수를 활용할 수 밖에 없다. 그래야 피쳐 맵의 비선형 특징을 학습하여 다양한 특징을 추출할 수 있기 때문이다. 그렇다면 CNN에서 Identity Mapping을 가능하게 할 수 있는 방법은 없을까?

3. Residual을 활용하자

갑자기 Residual이 등장했다. 이를 이해하기 위해서 우선 우리가 임의의 함수 $H(x)$를 하나 추가해보자. 그리고 다음과 같은 등식을 만족한다고 가정하자. $$F(x) = H(x) + x$$

위 수식에서 $F(x)$는 $x$라는 입력 데이터를 어떤 컨볼루션 레이어에 넣었을 때 그 출력값을 나오게하는 일종의 파라미터 함수를 의미하며 $x$를 $F(x)$에 넣어 나온 값 자체는 컨불루션 레이어를 통과한 출력값 자체를 의미한다. 그리고 오른쪽의 $H(x)$는 우리가 방금 추가한 임의의 함수를 의미하고 $x$는 입력 데이터를 의미한다.(이 때, $x$는 입력 데이터 또는 이전 레이어를 통과해서 나온 출력값이다)

 

위 등식에서 Identity Mapping을 가능하게 하려면 임의로 만든 함수 $H(x)$를 0으로 만들어주어야 한다. 그래야 $F(x) = x$가 되니까 말이다. 이 때, 우리는 $H(x)$를 컨볼루션 레이어만의 파라미터 함수로 간주하고 그 출력값에 $x$를 더해주는 그림을 생각할 수 있다. 이를 도식화하면 다음과 같다.

 

Residual Block(Identity Block)

 

여기서 주의해야 할 점은 보라색 선의 add할 때 배열의 차원수를 똑같이 맞추어 주어야 한다. 즉, Feature Map 1과 Input or Previous Layer라고 되어 있는 부분의 shape를 맞춰 주어야 한다. 그래야 값끼리 더하는 연산을 하는 add 연산을 할 수 있기 때문이다. 이 add 연산을 shortcut 또는 skip connection 이라고 한다.

 

어쨌건 우리는 이제 $H(x)$가 0이 되도록 학습을 진행해야 한다. 이 때 $F(x) = H(x) + x$에서 $x$를 이항시켜주면 식이 다음과 같아진다. $$H(x) = F(x) - x$$

이 때, $H(x)$는 잘 보면 일종의 잔차가 된다. 즉, $F(x)$라는 컨볼루션을 모두 거치고 난 후의 출력값과 $x$라는 입력값의 차이는 출력값과 입력값을 똑같게 해야 한다는 Identity Mapping 관점에서 $H(x)$는 잔차(Residual)가 된다. 그래서 ResNet이 Residual Network라고 불리는 이유다. 그리고 위와 같은 과정을 Residual Block 이라고 부른다.

 

또 역전파를 수행하게 되면 $F(x)$를 미분해야 한다. $F(x)$를 미분해야 하는 것은 곧 $H(x) + x$를 미분하는 것인데, 이 때 아무리 미분을 해도 1이 남기 때문에 기울기 소실 문제를 예방할 수 있다. 

4. Residual Block

ResNet에서 사용하는 Residual Block은 위 목차에서 본 그림이랑 약간은 다르다. 다르다고 해서 큰 틀은 바뀌지 않고 Batch Normalization과 같은 과정을 추가한 것 뿐이다.

 

Resnet에서 사용하는 Residual Block

 

ResNet 전체 아키텍처는 위와 같은 Residual Block을 연속적으로 추가한 모델이다.

 

ResNet VS 일반 깊은 Network VS VGG-19

 

위 그림에서 화살표 곡선으로 되어 있는 부분이 바로 Residual Block에서 발생하는 Skip Connection을 의미한다. 참고로 ResNet은 쌓은 Layer 개수에 따라 모델 이름이 ResNet50, ResNet101, ResNet152 등이 있다. 그런데 ResNet50 이후로 부터는 모델의 깊이가 매우 깊어지기 때문에 파라미터 개수도 많아진다. 그렇기 때문에 Residual Block 내에서 컨볼루션할 때 1 x 1 컨볼루션을 매번 적용해 파라미터 개수를 줄여 연산량을 줄이고 결국 오버피팅도 예방할 수 있게 된다. 1 x 1 컨볼루션의 효과에 대해서는 저번 포스팅에서 언급했으니 여기서는 넘어가겠다.