Convolution & Batchnorm Fusing

많은 머신러닝 모델에서 Conv layer 뒤에 Batch norm 을 사용한다.

두 layer의 수식을 정리하면 아래와 같다. (학습 시 저장되는 parameter는 bold체로 표시)

 

이렇게 학습된 모델 parameter를 load하여 inference 시, Conv layer와 Batch norm parameter를 합쳐서(fusing) Batch norm연산 과정을 제거할 수 있다. 

 

 

즉, 기존 conv layer의 weight와 bias를 

fused weight와 fused bias로 대체하면 inference network의 Batch norm을 제거하고 Conv layer 하나만 사용할 수 있다!