이번 월요일에는 윤찬송 연구원이 Back-Propagation 기반의 SNN을 훈련하기 위한 방법인 BPTT에서의 메모리 점유량 및 시간 소모를 줄이기 위한 효율적인 학습 방법을 소개하는 논문을 세미나 시간에 발표하였습니다. 해당 논문에서는 기존의 BPTT가 매 time step마다 그래디언트를 계산하는 방법으로 학습이 진행되며 이로 인해 메모리 점유량이 커지고 훈련에도 시간이 많이 소요된다는 점을 지적하고 있습니다. 이를 해결하기 위해서 논문에서는 각 time step의 backward pass를 없애고 대신 spike rate를 이용해 이를 approximation하는 방법을 제안하였으며, 이를 이용해 SNN 학습의 효율성을 증대시킬 수 있었습니다. 하지만 approximation을 이용하여 BPTT를 동작시켰음에도 불구하고, 기존의 BPTT 및 다른 SNN 학습 성능 증대 기법들과 비교했을 때, 더 좋은 성능이 나왔다는 점은 약간 의문스러웠습니다.