
이번 월요일에는 이현종 연구원이 Deep SNN의 훈련에 있어서 surrogate gradient 문제를 tackle하는 논문을 세미나 시간에 발표했습니다. 이 논문에서는 기존 Deep SNN 훈련의 문제점으로 loss의 landscape가 sharp한 것과 gradient가 각 time step에서 왔다갔다 하는 부호를 가져서 gradient에 confusion이 발생하는 것을 지적하였고 이 문제를 해결하기 위해 Bayesian Search Strategy를 이용한 적절 effective window를 찾는 방법과 assymetric한 surrogate gradient function을 제시합니다.