
이번 월요일에는 탁동혁 연구원이 ICLR 2025에 발표된 Looped Transformer의 reasoning 성능을 분석한 논문을 소개하였습니다. 해당 논문에서는 동일한 Transformer block을 반복적으로 사용하여 파라미터 수를 늘리지 않고 effective depth를 증가시키는 방법을 다루었으며, 이를 통해 일반적인 Transformer보다 적은 파라미터로도 다양한 reasoning task에서 유사하거나 더 높은 성능을 달성할 수 있음을 보였습니다. 특히 동일한 연산 구조를 반복하는 것만으로도 reasoning 성능을 향상시킬 수 있다는 점이 흥미로웠습니다. 하지만 각 task에서 성능 향상의 정도가 다르게 나타나는 이유와 구체적인 실험 결과에 대한 분석이 충분하지 않았다는 점은 다소 아쉬웠습니다. 그럼에도 이러한 반복적인 연산 구조를 활용하는 design은 현재 진행 중인 연구에도 새로운 아이디어로 적용해 볼 수 있을 것이라는 의견을 나누었습니다.