[학생 인터뷰] 김동재 박사과정생, 메타 강화학습 뇌 정보처리 과정 연구로 Nature Communications 지에 논문 게재

메타강화학습 Nature Comm 논문 게시물 사진.png

이번 달에는 뇌인지공학프로그램 박사과정 김동재 학생 취재하였습니다. 김동재 박사과정생은 Caltech과 메타 강화학습 뇌 정보처리 과정에 대해 공동연구를 진행하였으며 연구결과는 Nature Communications 지에 논문으로 게재되었습니다.

먼저 간단한 자기소개 부탁드리겠습니다.

게재된 논문에 대한 간략한 소개 부탁드리겠습니다.

불확실성과 작업 복잡도가 변하는 상황에서 목표를 세우고 전략을 세워 의사결정을 하는 능력은 인간의 고유한 문제 해결 능력 중 하나입니다. 이는 강화학습 이론으로 실험을 디자인 해 볼 수 있는데, 본 연구에서는 문제의 해결 목표, 문제의 복잡도, 상황 변화의 불확실성이라는 세 가지 변수를 조절해가며 인간의 문제 해결 과정을 구현했습니다. 이 실험을 통해 인간의 뇌 영상 (fMRI)과 행동 데이터를 취득했고, 즉 인간의 문제 해결 과정을 설명할 수 있는 수학적 모델을 찾기 위해 100가지가 넘는 종류의 메타 강화학습 알고리즘을 학습하고 비교 분석하였습니다. 이 과정에서도 ‘정밀 행동 프로파일링’ 분석 방법을 이용해 해당 수학 모델의 문제 해결 방식이 실제 인간의 행동과 매우 유사하다고 밝힌 것은 그 모델이 실제로 뇌내에서 일어나는 행동 원리를 재현하고 있기 때문에 이러한 의사결정 전략은 추후 인공지능으로 이식에 있어서도 매우 핵심적인 부분이라 할 수 있습니다.

어떤 계기로 해당 연구를 진행하게 되셨나요?

이전에 이상완 교수님께서 진행하셨던 실험에서도 (Neuron, 2014) 유사하게 강화학습 이론으로 인간의 문제 해결 능력을 추적하셨습니다. 본 연구에서는 ‘작업 복잡도’ 라는 특별한 변수가 존재해 직접적으로 인지 부하 (cognitive load)를 줌으로써 뇌에서 일어나는 효율성-성능 사이의 trade-off 과정을 보다 면밀히, 그리고 수학적으로 모델링 하는 것에 방점이 있었습니다.

논문 publish까지 본인의 역할에 대해 간략한 설명 부탁드리겠습니다.

저는 수학적 모델링과 행동 및 뇌 영상 분석 등 취득된 데이터를 분석하는 역할을 맡았습니다. 또한 교수님들과 함께 논문 작성에도 참여하였습니다.

공동연구를 진행하면서 어려웠던 부분이 있을까요?

공동연구 자체로 생기는 어려웠던 부분은 별 달리 없었던 것 같습니다. 굳이 꼽자면 시차를 유념해야 하기 때문에 수정 사안이나 의견의 교환이 즉각적으로 일어나지 않는 경우가 있다는 것인데, 오히려 교수님 두 분 (이상완 교수님과 Caltech의 John O'Doherty 교수님)으로부터 논문 초안 작성부터 리비전 과정까지 넓은 시각에서 나오는 깊이 있는 조언들을 많이 받아서 개인적으로는 굉장히 좋았습니다.

관심 있는 연구 분야와 앞으로의 연구 계획이 어떻게 되는지 한 말씀 부탁드리겠습니다.

본 연구처럼 수학적으로 모델링을 통해서 작게는 뉴런, 크게는 인간의 행동 원리를 규명하는 분야를 계산신경과학(computational neuroscience) 이라고 부르는데, 저희 연구실이 그러하듯, 저 역시 인간의 학습과정과 그에 따른 의사결정 과정에 큰 관심을 가지고 있습니다. 특히 강화학습과 같은 이론은 그 신경과학적 기반이 되는 이론 역시 탄탄하여 재미있는 연구 주제입니다. 앞으로도 강화학습 이론과 함께 신경과학적 작동 기작을 찾는 연구들을 진행하고 싶습니다.

최예빈 기자(yebbin19@kaist.ac.kr)