[학생 인터뷰] 박영진 박사과정 학생, 고효율 물체인식을 위한 생체모방 신경망 구조 연구

<박영진 박사과정 학생>

이번달에는 Neural Networks에 발표된 박영진 박사과정 학생의 물체 인식에 대해 높은 효율을 가지는 brain-inspired network architecture 연구 (논문명: A brain-inspired network architecture for cost-efficient object recognition in shallow hierarchical neural networks)에 관해 취재하였습니다.

Q. 안녕하세요. 간단하게 자기소개 부탁드립니다.

안녕하세요? 저는 바이오및뇌공학과 백세범 교수님 연구실의 박사과정 박영진입니다. 학부, 석사 모두 저희 과 출신이라, 거의 10년 가까이 정문술-양분순 빌딩에서 지내고 있네요.

Q. Neural Networks에 발표하신 연구에 대해 설명 부탁드리겠습니다.

올해 2월에 Neural Networks에 개제된 [A brain-inspired network architecture for cost-efficient object recognition in shallow hierarchical neural networks] 논문은 저와 백승대 박사과정 학생이 공동 1저자로 함께 진행한 프로젝트입니다.

저희 연구는 다양한 동물의 일차시각피질(V1)에서 공통적으로 발견되는 “Long-range connection” (이하 LRC) 이라는 특이한 연결 구조의 역할에 관한 연구입니다. V1 내부에는 인접한 뉴런들을 연결해주는 local connection과 layer의 끝과 끝을 연결하고 길이가 거의 2~3mm에 육박하는 초 장거리 연결(LRC)이 공존하고 있는데요, 사실 일차적으로 생각해보면 가용 가능한 부피가 한정되어 최대한 효율적으로 연결성을 구성해야 하는 두뇌에서 이런 긴 연결들이 있는 것은 비효율적이라고 생각될 수 있죠. 하지만 저희는 이 구조를 모사하여 인공신경망에 적용하면, 훨씬 적은 개수의 layer를 사용하는 얕은 (shallow) 신경망으로도 기존의 깊은 신경망(deep neural network) 과 거의 비슷한 시각인지 성능을 낼 수 있다는 사실을 밝혀냈습니다.

또한 저희는 이런 LRC 구조가 연결 효율성 (cost-efficiency)를 극대화하도록 발전해나가는 과정에서 자발적으로 만들어질 수 있다고 생각했습니다. 그래서 이를 검증하기 위해 신경망을 시각인지 성능을 유지함과 동시에 네트워크 전체의 연결 길이를 최소화하는 조건(length penalty)을 넣어 학습시켜 보았더니, 놀랍게도 length penalty 때문에 다 없어질 것이라 예상했던 긴 연결들이 일부 끝까지 살아남아, 결과적으로 두뇌에서 발견되는 것과 거의 비슷한 LRC 구조가 발생하였습니다. 이러한 발견들로 미루어 보아, LRC는 단순히 길이만 긴 비효율적인 연결이 아니라, 사실 한정된 자원(cost)을 가지고 최적화된 신경망을 구성해야 할 때 필수적인 연결 요소라는 것을 추측할 수 있을 것 같습니다.

Q. 실제 뇌의 구조를 모사한다라는 점이 흥미로운데요. 물체를 인식하는 기능에 있어서 실제 뇌 구조가 기능을 발현시키는데 효율적으로 구성되어 있다고 생각할 수 있을 것 같습니다. 혹시 물체 인식 외의 다른 기능에 대해서도 연구되고 있는 특이한 네트워크 구조가 있을까요?

음, 저희 연구실에서 진행한 연구 중 하나로, 대부분의 동물들이 태어날 때부터 특별한 학습 없이 지니고 있는 수량 인식 기능의 기원에 대해, 학습하지 않은 random neural network를 이용해 밝힌 연구(“Visual number sense in untrained deep neural networks”, Kim 2021)가 있습니다. 이 연구는 특이한 네트워크 구조를 사용한 것은 아니지만, 생존에 필수적인 여러가지 기능들이 학습이 전혀 없이도 자발적으로 발생할 수 있다는 점을 시사한다는 점에서 재미있는 것 같아요.

이 외에도 장기 기억이나 continual learning 등 기존의 deep neural network가 잘 하지 못하는 task들에 대해 두뇌 구조에서 착안한 다양한 네트워크 구조를 적용해 보고 있다고 알고 있습니다. 예를 들어 현재 딥러닝은 대부분 학습하는 모듈과 이를 기억하고 저장하는 모듈이 분리되어 있지 않아 새로운 정보를 덮어씌우면 기존에 저장된 정보가 모두 파괴되는 등 (catastrophic forgetting)의 문제가 있는데요, 이를 해결하기 위해 우리 뇌가 장기 기억과 단기 기억을 구분하여 저장 및 인출하는 것에 착안하여 개발한 DNC (differentiable neural computing, Graves 2016) , compressive transformer (Lillicrap 2019) 등 구조가 연구되고 있습니다.

Q. 연구에서 보이신 결과처럼 물체 인식에 있어 효율적인 네트워크 구조라는 것이 실제 생물 실험을 통해서도 확인된 연구가 있나요?

사실 이미 구성된 두뇌의 연결 구조를 마음대로 바꾸는 것은 사실상 불가능하기 때문에, 이런 주제들은 직접적인 생물 실험으로 검증하기가 매우 어려운 주제이긴 합니다. 그래서 보통은 시뮬레이션을 통해 얻은 결과를 생물 데이터와 비교하는 것으로 간접적인 검증을 진행하는 경우가 대부분입니다. 저희 같은 경우는 모델 시뮬레이션으로 발생한 최적화된 LRC 분포와 다양한 종에서 측정한 실제 horizontal connection의 분포를 비교하는 것으로 검증을 진행했습니다.

또한 이것도 직접적인 생물 실험은 아니지만, MIT의 DiCarlo 그룹에서 물체인식을 하는 동안 두뇌의 활동 패턴을 인공신경망을 이용해 예측하는 연구(Yamins 2014, Bashivan 2019)를 진행중입니다. 두뇌 활동을 가장 잘 예측하는 신경망 구조가 실제 두뇌의 연결 구조에 가장 가까울 것이라는 논리인데요, 이들의 연구에 따르면 각 layer 내부에 있는 recurrent connection은 일반적으로 물체인식 성능을 올리는 데에는 크게 기여하지 않는 것으로 알려져 있었지만, 두뇌의 activity dynamics을 재현하는 데에 있어서는 굉장히 필수적인 요소라고 합니다 (Nayebi 2018).

Q. 해당 연구를 기반으로 향후 기대되는 효과가 있다면 어떤 것이 있을까요? 혹시 후속연구로 진행하는 것이 있다면 소개 부탁드립니다.

현재 저희는 이 LRC 구조가 왜 물체 인식에 효율적인지, 이런 효과는 어떤 조건에서 작동하는지 보다 근본적인 원리에 대해 탐구해 보고 있습니다. 예를 들어 LRC는 대부분의 포유류에서 발견되지만 mouse에서는 발견되지 않는데, 이상하게도 mouse와 진화 계통수적으로 거의 비슷한 rat에서는 아주 명확하게 LRC가 발견됩니다. 이 두 종은 대체 어떤 차이가 있길래 V1 lateral connection의 분포가 이렇게 극단적으로 차이나는지? 저희는 graph theory에서 빌려온 “small-world network”의 개념을 도입하면 LRC의 효과와 적용 범위를 아주 명쾌하게 설명 가능하다고 생각합니다. 이에 관해서는 한창 연구가 진행 중이니 논문을 기대해 주세요.

Q. 마지막으로, 연구자로써 진로를 희망하는 많은 학부생들을 위해 선배로써 조언 한 말씀 부탁드리겠습니다.

머릿속으로 막연히 생각하는 것과 실제로 연구를 해 보는 것 차이에는 정말 어마어마한 갭이 있는 것 같습니다. 많은 선배님들과 교수님들이 말씀해 주시는 것처럼, 연구는 문제가 있고 그 문제에 대해 정해진 답을 찾는 것이 아니라, 문제 자체를 처음부터 만드는 것에 더 가깝거든요. 그래서 연구에 관심이 있는 학부생들은 일단 한번 빨리 경험을 해 보시는 것을 추천드립니다.

다행히 저희 학교는 학부생들을 위한 연구 프로그램이 아주 잘 되어 있는 편이니, 관심가는 랩에 컨택을 해서 개별 연구를 시작해 보세요! 참고로 저희 랩에서도 학부연구생 절찬 모집 중이니, 관심 있으신 학생분들은 부담없이 연락 주세요 ㅎㅎ

감사합니다.

[참고 논문]

Youngjin Park, Seungdae Baek, Se-Bum Paik, “A brain-inspired network architecture for cost-efficient object recognition in shallow hierarchical neural networks”, Neural Networks 134, 76-85 (2021).

기자 : 윤동조 (ehdwh8264@kaist.ac.kr)