11/09 세미나

이번 월요일에는 윤찬송 연구원이 NeurIPS 2021에 발표된 SNN의 학습 방법을 개선하는 논문을 발표하였습니다. 해당 논문에서는 SNN의 불연속적인 Spike 발화 함수로 인해 미분이 어려워지는 문제를 다루며, 이를 해결하기 위해 사용되는 Surrogate Gradient(SG)를 Finite Difference Gradient(FDG)를 통해 분석하고, 학습 과정에 따라 Gradient의 형태를 조절하는 Differentiable Spike(Dspike)를 제안하였습니다. 특히 기존의 고정된 SG를 사용하는 대신 FDG와의 Cosine Similarity를 기준으로 적절한 Temperature를 선택하여 학습에 적용한다는 아이디어가 흥미로웠습니다. 하지만 FDG와 SG의 방향이 유사하다는 것이 실제 Loss 감소에 얼마나 효과적인지에 대한 의문점이 남아있는 논문이었습니다.

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다