이번 월요일에는 이훈희 연구원이 model heterogeneity가 높은 상황에서 Federated learning을 제대로 적용하기 위한 방법을 소개하는 논문을 발표했습니다. 해당 논문에서 제안하는 sohip은 federated learning에서 새로운 정보를 얼마나 받아들일지를 조절하기 위해 게이티드 메모리의 개념을 도입하였습니다. 해당 메모리를 통해 실제 heterogeneous한 모델들을 사용하는 federated learning에서 확실히 성능이 좋아지는 것은 확인하였으며 이를 여러 실험을 통해서 뒷받침하였습니다. 하지만 메모리에 있는 게이트의 기능이 거의 오래전에 나온 LSTM을 그대로 차용한 것에 가까워 노블티가 부족해 보이는 것이 해당 논문에서 좀 아쉬웠습니다.