이번주 월요일에는 이훈희 연구원이 연합 학습에서 multi-modal task를 수행할 수 있도록 하는 법을 연구한 논문을 세미나에서 다뤘습니다. 해당 논문에서는 이미지 데이터와 텍스트 데이터를 다루는 서로 다른 모델들의 가중치를 각 클라이언트로부터 어떻게 취합하고 분배하는지에 대해 다루고 있었으며 저자들은 cross-modality에 따른 최적 가중치 취합 및 분배 방식을 적용하기 위해 loss function을 새로 정의하여 가중치를 업데이트 하기 위해 사용했습니다. 저희도 지금 multi-modal 학습과 연합 학습을 연구 중인 만큼 이를 활용하여 새로운 매커니즘을 개발해봐도 좋을 것 같습니다.