부드러운 소프트맥스 함수를 적용한 신경망 앙상블 개선

초록

분류 문제를 인공지능 방식으로 해결할 때 앙상블은 그 성능을 높이는 기법으로 자주 활용된다. 하지만, 선택된 클래스의 비중을 확률분포로 바꾸는 일반적인 softmax의 확률분포를 그대로 앙상블에 적용하면 softmax내 지수함수의 영향으로 가장 높은 비중을 가진 클래스의 확률이 상대적으로 너무 높아지는 문제가 발생하여 앙상블의 효과를 감소시킬 수 있다. 본 논문에서는 softmax의 이러한 문제점을 완화하기 위해 스무딩 인자를 도입한 smoothed softmax를 제안하며, 이를 통해 앙상블 성능이 개선될 수 있음을 보여준다. 또한 논문에서는 coarse label로 학습한 신경망을 앙상블에 포함하고, 앙상블을 교사 모델로 사용하여 작은 크기의 학생 모델 신경망에 지식 증류할 때 smoothed softmax가 신경망의 정확도를 높임을 보인다. 논문에서 제안한 smoothed softmax는 기존의 softmax를 적용한 경우와 비교해서 fine label로 학습한 신경망으로 앙상블했을 때는 정확도가 1.38% 증가했으며, coarse label로 학습한 신경망이 앙상블에 추가되었을 때는 정확도가 5.21% 증가하였고, 앙상블 신경망을 지식 증류를 통해 그 크기를 감소시켰을 때는 정확도가 최대 7.0%까지 증가하였다.

키워드