오늘은 이훈희 연구원이 federated learning에서 하이퍼 파라미터 세팅의 복잡성 문제를 해결하는 알고리즘을 소개한 논문을 발표했습니다. 기존의 federated learning에서는 하이퍼 파라미터의 설정이 학습 성능에 중요한 영향을 끼쳤었습니다. 하지만 이런 하이퍼 파라미터들을 최적 값으로 설정하여 Non-iid한 상황에 맞게 훈련을 시키는 것은 굉장히 어려운 작업이었습니다. 하지만 이 논문에서 저자들이 기존의 SCAFFOLD 방식을 개량하고 adaptive learning rate를 도입하여 제안한 방식은 복잡한 하이퍼 파라미터 세팅 없이 자연스럽게 round 마다 각 클라이언트들에서의 학습이 이뤄지면 해당 파라미터들이 수렴해나가는 것을 가중치가 L-smooth를 만족할 수 있도록 하여 해결하였다는 점이 매우 인상깊었습니다.