우리학과 이상완 교수 연구팀은 성능-효율-속도의 균형적 설계와 같은 다양한 공학적 난제를 풀 수 있는 신경과학 기반 강화학습 이론을 제안하였다.
이상완 교수 연구팀 (이지항 박사, 안수진 박사과정, 이상완 교수) 이 주도하고, 영국 케임브리지 대학, 구글 딥마인드가 함께 참여한 이번 연구는 국제 학술지 사이언스(Science) 자매지인 ‘사이언스 로보틱스 (Science Robotics)’ 1월 16일 온라인 판에 Focus 형식으로 게재되었다.
최적제어 이론에서 출발한 강화학습은 지난 20년여 동안 공학에서 꾸준히 연구되어온 분야이며, 지난 5년여의 기간 동안은 딥러닝 기술의 발전과 맞물려 급격한 발전을 이루어 왔다. 딥러닝 기반 강화학습 알고리즘은 최근 알파고와 같은 전략 탐색 문제, 제어기 비 의존적인 로봇 제어 문제, 응급실 비상 대응 시스템과 같은 의료 진단 문제 등 다양한 분야에 적용되어 왔다. 그러나 아직은 주어진 문제에 맞게 시스템을 설계해야 하고, 불확실성이 높은 환경에서는 성능이 보장되지 않는 등 근본적인 이슈들이 산재해 있다.
강화학습은 의사결정 및 계산신경과학 분야에서도 지난 20년간 꾸준히 연구되어 왔다. 이상완 교수는 인간의 전두엽-기저핵 뇌 회로에서 이종 강화학습을 제어한다는 신경과학적 증거를 2014년 처음으로 학계에 발표한 바 있으며, 2015년에는 같은 뇌 회로에서 고속 추론(one-shot inference)과정을 제어한다는 연구를 발표한 바 있다. 이후 이상완 교수 연구팀은 전두엽의 학습 제어 메커니즘을 이해하고 이를 인공지능 시스템 설계에 적용하는 인공지능-신경과학 융합 연구를 진행해 오고 있다. ( http://aibrain.kaist.ac.kr/)
본 연구에서는 강화학습과 같은 개별 인공지능 알고리즘이 해결하지 못하고 있는 공학적 문제들을 인간의 두뇌가 이미 해결하고 있다는 사실에 기반한 “전두엽 메타 제어” 이론을 제안한다. 중뇌 도파민-복외측전전두피질 네트워크에서 외부 환경에 대한 학습의 신뢰도를 스스로 평가할 수 있는 보상 예측 신호나 상태 예측 신호와 같은 정보를 처리하며, 인간의 두뇌는 이 정보들을 경쟁적-협력적으로 통합하는 프로세스를 통해 외부 환경에 가장 적합한 학습 및 추론 전략을 찾는다는 것이 이론의 핵심이다. 이러한 원리를 단일 인공지능 알고리즘이나 로봇설계에 적용할 경우에는 외부 상황변화에 강인하게 성능-효율-속도 세 조건(performance-efficiency-speed tradeoff) 사이의 균형점을 유지하는 최적의 제어 시스템을 설계할 수 있으며, 더 나아가 다수의 인공지능 개체가 협력하는 상황에서는 서로의 전략을 이용함으로 협력-경쟁 사이의 균형점을 유지할 수 있다. 본 연구의 전두엽 메타 제어 이론은 최근 의사결정 신경과학의 이슈 중 하나인 메타인지와도 연결될 수 있다. 여기서의 메타 인지는 현재 학습된 정보에 대한 신뢰도 추정 능력을 뜻하는데, 이러한 능력은 탐색-활용 전략(exploration-exploitation tradeoff)사이에서 최적의 균형점을 찾는 제어 과정의 기반이 된다.
또한 이상완 교수는 이 연구의 확장판으로 뇌-인공지능 융합연구가 신경과학과 로보틱스에 적용될 수 있는 6가지 새로운 접근 방법을 제안하였다. 이는 의사결정 신경과학의 권위 학술지인 Current Opinion in Behavioral Sciences 에 게제 예정이다.
- 관련기사
동아사이언스
http://dongascience.donga.com/news.php?idx=26465
베리타스알파
http://www.veritas-a.com/news/articleView.html?idxno=142108
연합뉴스
https://www.yna.co.kr/view/AKR20190124057700063?section=
머니투데이
http://news.mt.co.kr/mtview.php?no=2019012410203929877&type=2&sec=tech&pDepth2=Ttotal&MNI_T
사이언스모니터
