[학생 인터뷰] 김동재 박사 졸업생, 인공지능의 오랜 난제를 뇌 기반 인공지능으로 풀다

김동재 박사님 프로필 사진.jpg

<김동재 박사>

Q1) 안녕하세요 김동재 박사님, 바쁘신 와중에 인터뷰를 허락해 주셔서 감사드립니다. 그러면 질문을 드리도록 하겠습니다. 작년 12월에 박사님께서는 ‘Prefrontal solution to the bias-variance tradeoff during reinforcement learning’라는 제목의 논문을 Cell Reports지에 게재하셨는데요, 이 논문에 관해 설명을 부탁드립니다.

환경 변화는 특히 해당 환경에 과적합(overfitting)된 전략에게는 편향오류를, 과소적합(underfitting)된 전략에게는 분산오류를 야기하여 궁극적으로 변화에 제대로 대응하는 전략을 찾지 못하게 되는, 이른바 편향-분산 상충문제 (bias-variance tradeoff)를 내포하고 있습니다. 저희는 이 편향-분산 상충문제를 해결하는 원리를 인간의 뇌로부터 찾아내었습니다. 인간의 뇌는 강화학습 전략들의 ‘예측오차(prediction error) 하한값’이라는 정보를 추적함으로써 환경 변화를 빠르게 인식하고 적절한 강화학습 전략을 활용하였습니다. 저희는 이러한 유기적, 적응적인 강화학습 전략 선택 과정을 행동적 증거와 함께 fMRI 분석을 통해서 확인했습니다.

조금 더 자세히 설명하자면, ‘예측오차 하한값’은 뇌가 그 전략이 우세 전략이라 생각하는 예측 오차 값의 범위를 의미합니다. 예를 들어 예측오차 하한값이 1이라면 뇌는 예측오차가 0에서 1사이일때만 현재 전략이 우세 전략이라는 의미로 받아들입니다. 예측오차 하한 값이 에서 10으로 증가했다면, 이제 뇌는 예측오차가 아주 크지 않은 이상 (10보다 크지 않다면) 현재 전략이 우세하다고 인식하게 됩니다.

Q2) 박사님께서는 본 논문에서 개발하신 ‘유동적인 메타 강화학습 모델‘이 향후 어떤 식으로 실생활에 적용될 수 있을지 궁금합니다.

메타 강화학습 모델을 단순히 진보된 인간 행동에 대한 모델로 이해한다면, 단순하게는 신경과학적 증거를 가지고 인간 행동에 대해 면밀한 이해를 가능하게 하는 모델로서 기능할 수 있습니다. 특히 메타 강화학습 과정은 인간이 효용을 최대화하기 위해 의사결정을 내리는 모든 상황과 직접적인 연관이 있기 때문에 인간 의사결정에 대한 응용이 필요한 모든 분야에 폭 넓게 적용 가능하다고 할 수 있습니다.

그러나 제가 더 가치 있다고 생각하는 부분은 모델의 유동성에 해당하는 부분입니다. 요소적으로 보자면, ‘예측오차 하한 값’의 추적을 통해 환경 변화를 인식하고 적응적으로 대응하게 하는 부분은 많은 인공지능 모델들에서 결여되어 있는 부분이기에 특히 많은 딥러닝 아키텍처(architecture)에 의미 있게 적용될 수 있습니다.

특히 이러한 요소적 접근은 저희가 추구하는 인간의 인지 과정에 대한 신경과학적 이해를 통해 그 단서를 찾는 신경과학-인공지능 융합 연구가 추구하고자 하는 방향에 정확히 부합하기 때문에 개인적으로는 더욱 가치 있다고 생각합니다.

Q3) 인공지능은 인간과는 다르게 상황 변화에 대해 유동적으로 대처할 수 없는 점이 한계라고 말씀해 주셨는데요, 이렇게 ’유동성‘과같이 아직은 인간만이 할 수 있고 인공지능이 할 수 없는, 따라서 인공지능 분야에서 해결해야 할 난제들이 더 있을까요?

인공지능 분야에서 해결해야 할 난제가 무엇이 있는지 제가 전부 알 수는 없지만, 강화학습 분야의 인공지능으로 한정 지어서 생각해 본다면 몇 가지 연구가 필요하다고 생각하는 부분은 있습니다. 넓은 범주에서의 추상화 능력 (abstracting, conceptualization)은 중요해 보입니다. 이러한 인간 추상화 능력에 관해서 재밌는 사례가 있습니다. 체스를 하는 사람들의 시선과 행동을 분석해보면, 실제로 전문가와 초보자가 그 짧은 시간에 탐색하는 경우의 수 자체는 차이가 없습니다. 전문가를 전문가로 만드는 것은 체스 말들이 놓인 보드를 보면서 유의미한 정보를 얼마나 잘 뽑아내는지의 차이, 즉 추상화 능력의 차이로 보입니다. 보통 인공지능에서는 네트워크 레이어(layer)를 더 깊게 쌓고, CNN 혹은 RNN 을 쓰거나, 많고 많은 데이터를 통해서 네트워크가 추상화 능력을 갖기를 바랍니다만, 더 효율적인 방법을 인간으로부터 찾아낼 수 있으리라 생각합니다. 구조적일 수도 있고, 기능적일 수도 있겠죠.

Q4) 혹시 이번 연구를 진행하시면서 특별히 어려웠던 부분이 있으셨는지, 혹 있으셨다면 극복하셨던 박사님만의 팁(Tip)이 있으신지 궁금합니다.

제가 카이스트 바이오및뇌공학과 뇌인지공학프로그램으로 입학한 게 2016년입니다. 1학기 중간 즈음해서 제가 처음으로 교수님 연구실에서 교수님과 개인 미팅을 했을 때, 교수님이 이 연구의 초기 아이디어를 말씀하셨습니다. 그 초기 아이디어로 연구를 진행했고, 2017년부터 논문을 써서 여기저기 내봤고, 다 리젝(reject)을 당했습니다. 오히려 2018년에 시작한 다른 논문은 2019년 말에 출판이 되었는데도, 제 대학원 생활을 같이 시작한 이 연구는 여전히 정리되지 않은 채로 제 마음의 짐으로 자리하고 있었습니다.

고백하자면 저는 아직도 정리하지 못한 연구들이 여러 개 있습니다. 이 연구도 처음 시작부터 재면 거의 6년에 가까운 시간을 안고 있던 연구 주제입니다. 그러나 결국 제가 연구자로서 더욱 성장하며 더 좋은 논문을 써서 더 좋은 저널에 제출할 수 있었습니다.

실제로 2019년에 다른 논문을 출판하고 나서 이 연구를 다시 시작했을 때, 그간 배웠던 여러 가지 스킬(skill)들, 그리고 제안하고 혹은 다른 연구로부터 찾았던 분석 아이디어들 덕분에 다시 시작한 연구는 훨씬 수월하게 진행되었습니다. 2020년에는 제가 박사 디펜스도 하고, 다른 논문도 새롭게 분석에 들어가고… 여러 가지 이유로 빨리 끝마치지 못하긴 했지만 결국 2021년 좋은 저널에 출판하게 되었습니다.

제가 일전에 바이오및뇌공학과 랩장으로서의 인터뷰를 한 적이 있는데, 그때 대학원 생활에서 가장 중요한 것은 동기부여를 유지하는 것으로 생각한다고 말한 적이 있습니다. 지금 역시 생각은 비슷하지만, 한가지 추가하고 싶습니다. 내가 당장의 실적이 없다 하더라도, 지금 하는 일들로 인해 조금씩 더 좋은 연구자가 되어가고 있다는 것에 대한 믿음. 그리고 그러기 위한 노력이 필요하다고 생각합니다. 그러한 믿음 덕에 6년의 세월이 지나는 동안에도 즐겁게 연구하고, 좋은 결과로 이어졌다고 생각합니다.

Q5) 현재 뉴욕대학교에서 박사 후 연구원으로서 연구를 계속하고 계신 것으로 알고 있는데요, 현재하시고 있는 연구 그리고 앞으로 박사님께서 하시고 싶은 연구가 있으신가요?

현재 저는 뉴욕 대학교 심리학과의 Wei Ji Ma 교수님 연구실에서 연구를 진행하고 있습니다. 심리학과에서는 전통적인 인지과학 연구들을 많이 합니다. 뇌 신호는 거의 신경 쓰지 않고, 다양한 인간 인지 행동과 그에 대한 모델링 및 분석이 주류가 됩니다. 그중에서도 제가 하는 연구는 인간의 planning에 관련된 연구입니다. 이러한 다른 인지과정도 그렇지만, 특히 planning은 외부적으로 측정할 방법이 없이 간접적으로만 측정할 수 있기에 어떤 실험 디자인을 활용해야 하는지, 어떻게 분석해야 하는지 등에 대해서 깊은 고민이 필요합니다. 이런 부분에 대해서 이미 Wei Ji 교수님께서 어느 정도 고민을 해 디자인한 실험이 있고, 이를 활용해 인간의 planning을 분석하는 것이 현재의 제 연구 목표입니다.

하고 싶은 세부적인 연구 주제는 많은데, 포괄적으로 말한다면 인간의 인지과정 중 ‘학습과 추론’ 관련된 부분에 관해서 연구를 계속하고 싶습니다. 저는 학부에서는 생명 과학을 배웠고, 대학원은 계산신경과학과 딥러닝을 배웠고, 이제는 심리학에서 여러 개념을 배우고 있습니다. 이러한 다양한 배경을 활용해 어느 한쪽에 치우치지 않고 ‘학습과 추론’ 에 대해 포괄적인 접근이 가능한 연구자가 되는 것이 목표입니다.

Q6) 마지막으로 현재 연구자의 길을 걷고 있는 바이오및뇌공학과 대학원 후배들에게 해주고 싶으신 말씀이 있을지 여쭤보고자 합니다.

제가 학부 때 컴퓨터공학과 수업을 몇십 학점 들을 때, 2학년들이 단체로 듣는 수업을 껴서 들은 일이 있습니다. 남학생이 많은 학과라, 교수님들께서 군대를 가기 전에 마지막이라고 좋은 말씀을 해주시는 일이 종종 있었습니다. 그중에 한 교수님이 하셨던 말씀을 저는 아직도 기억합니다. ‘성적도 필요 없고 다 필요 없다. 무엇이 중요한 것이고 무엇이 중요하지 않은 것인지 아는 것, 그게 핵심이다’.

대학원 생활이 특히 그렇습니다. 대학원생은 스스로 해야 하는 것의 범위와 양, 그리고 그 깊이의 차원이 다릅니다. 경중도 다릅니다. 내 삶에 도움이 되는지, 당장의 상황에만 도움이 되는지 판단이 어렵습니다. 잘 판단하고 중요한 부분에 집중해야 합니다.

예를 들자면, 대학원생들에게는 행정적으로 해야 하는 일들이 있습니다. 특히, 과제에 소속되어 보고서를 써야 하는 것은 과제로부터 인건비를 받는 사람으로서 당연한 의무이지만, 연구자로 성장하고 있는 대학원생으로서 ‘중요한’ 부분은 명백히 아닐 겁니다. 그런데 가끔, 연구 과제 연차보고서 작성에 과한 힘을 쏟거나, 그것의 중요도를 과하게 높게 평가해 ‘회사원 놀이’를 하고서는, 충실한 대학원 생활을 보냈다 착각하는 경우가 있습니다. 그러나 대학원생에게 중요한 것은 분명 좋은 연구를 하는 것, 그리고 스스로의 능력을 키우는 것 일 겁니다. 어느 것이 중요한 것인지 판단하고 진정 중요하다고 생각하는 쪽으로 나아가시길 바랍니다.

논문명: Prefrontal solution to the bias-variance tradeoff during reinforcement learning

백우진 기자 (wjback@kaist.ac.kr)

김동재 박사님 논문 대표도.png

<대표 이미지>