이번주에는 탁동혁 연구원이 최근 트랜스포머의 역할을 효율적으로 대체할 수 있는 모듈인 맘바 모듈을 쓴 저자들의 또 다른 최신 논문을 발표했습니다. 해당 논문에서는 저자들이 제시한 HiPPO 이론을 통해 제곱의 시간 복잡도가 아닌 선형적인 시간 복잡도로 트랜스포머 내의 learnable parameter를 효율적으로 학습하는 방법을 보였습니다. 이를 통해 그동안 트랜스포머나 LSTM 같은 선형적 데이터셋을 다루는 모듈들이 풀기 어려웠던 문제인 path-x를 최초로 풀어내었으며 다른 선형 모듈들 대비 더 높은 효율성과 학습 성능을 보였습니다. 해당 논문을 쓴 알버트 구는 현재 머신러닝 학계에서 굉장히 주목받고 있는 학자로 양질의 논문을 많이 써본 교수님입니다. 저희 연구에서도 알버트 구의 여러 워크들을 참조하여 좋은 연구 활동을 이어나갈 수 있으면 좋겠습니다.