오늘은 이훈희 연구원이 자율주행 차량에 사용하기 위한 federated learning 방법들에 대해 찾아보던 중 간단하면서도 효과적인 방법을 제시한 논문을 발표했습니다. 이 논문에서는 기존의 신경망 학습에 많이 사용되던 batch normalization을 federated learning에 사용하지 않고 scaled weight standardization을 사용해 batch normalization 없이도 효과적으로 학습을 진행하였습니다. 해당 논문에서 얘기한 batch normalization의 문제는 federated learning 상황에서 수집되는 데이터의 특성 및 분포가 다 다를 수 있고 (특히, Non-IID한 상황을 예로 들 수 있습니다.) 이러한 분포 및 특성의 차이를 유지해야 하는데 batch normalization을 사용하면 이런 차이가 희석되어 훈련 시 문제가 될 수 있다는 것이었습니다. 이러한 문제점 제기에 대해서는 충분히 공감할 수 있었지만 단순히 batch normalization을 제거하고 기존에 있는 scaled weight standardization을 사용했다는 이유 하나 만으로 ICLR poster에 선정될 novelty가 충분할지는 잘 모르겠습니다. 다만 실험은 굉장히 다양하게 잘 진행하여 결과를 잘 보여주고 있는 논문이었습니다.