[학생 인터뷰] 송준영 박사과정 학생, 인공위성 영상의 비지도 잡음 제거(Unsupervised Denoising) 알고리즘 연구

송준영_학생_사진.jpg

<송준영 박사과정 학생>

이번달에는 IEEE Trans. on Geoscience and Remote Sensing에 발표된 송준영 박사과정 학생의 Unsupervised Denoising 알고리즘관련 연구 (논문명: Unsupervised Denoising for Satellite Imagery Using Wavelet Directional CycleGAN)에 관해 취재하였습니다.

Q. 안녕하세요. 간단하게 자기소개 부탁드립니다.

안녕하세요. 저는 바이오및뇌공학과 예종철 교수님 연구실에서 박사과정을 밟고 있는 송준영입니다. 저는 영상 처리를 위한 신호처리 및 기계학습에 대해서 연구하고 있으며, 구체적으로 인공지능의 한 분야인 딥러닝을 이용하여 영상에 존재하는 노이즈나 아티팩트를 제거하는 것과 같은 영상 복원 문제를 해결하는 연구를 진행하고 있습니다.

Q. 이번에 발표하신 연구에 대해 간단히 설명 부탁드리겠습니다.

이 연구에서는 인공 위성 영상에 존재하는 노이즈를 제거하는 것을 목표로 하였으며, 이를 위해서 딥러닝 기반의 영상 복원 방법을 개발하였습니다. 인공 위성 영상에 존재하는 노이즈들은 영상 활용에 악영향을 끼치기 때문에 노이즈 제거 과정이 꼭 필요합니다. 이 연구에서는 방향성을 가지고 있는 세로 줄무늬 노이즈 및 가로 방향성의 파형 노이즈를 제거하고자 하였으며, 이를 딥러닝 기반의 방법으로 해결하였습니다. 알고리즘 개발 당시 입력 영상 (노이즈가 존재하는 영상)과 이에 구조적으로 상응하는 타겟 영상 (노이즈가 없는 깨끗한 영상)이 없었기 때문에, 비지도 학습(unsupervised learning) 방법 중 하나인 cycle-consistent adversarial network (CycleGAN) 구조를 활용하였으며, 더 나아가 기존의 CycleGAN이 가지고 있는 한계점 극복을 위해, wavelet transform 기반의 wavelet directional CycleGAN (WavCycleGAN)을 개발하였습니다. 기존의 방법들에 비해서 제안한 WavCycleGAN은 인공위성 영상에서 중요한 영상 디테일을 보존함과 동시에 효율적인 노이즈 제거가 가능한 알고리즘 입니다.

Q. cycleGAN은 어떻게 작동하는 알고리즘인가요? 그리고 본연구에서 사용하신 wavelet directional CycleGAN(WavCycleGAN)은 어떤 특징을 가진 알고리즘인지 궁금합니다.

딥러닝 방법 중 기존의 지도 학습 (supervised learning) 기반의 노이즈 제거 방법들은 입력 영상 (노이즈 존재) 과 구조적으로 상응하는 타겟 영상 (노이즈가 없는 깨끗한 영상)이 필요한데, 인공 위성 영상에서는 이러한 paired data 를 얻기가 굉장히 어렵습니다. 따라서 저희는 깨끗한 영상 여러 개와 구조적으로 상응하지는 않지만 노이즈가 없는 깨끗한 영상을 활용할 수 있는 비지도 학습 (unsupervised learning) 기반으로 노이즈 제거 방법을 개발하였습니다.

CycleGAN은 대표적인 비지도 학습 방법 중의 하나로, 특정 도메인 데이터 (예를 들어 노이즈가 포함된 영상)와 이와 상이한 도메인의 데이터 (예를 들어 노이즈가 없는 깨끗한 영상) 간의 변환을 가능하게 하는 것을 목표로 합니다. 연구 초반에는 비지도 학습 중 대표적인 CycleGAN 으로 노이즈 제거를 시도해보았으나, 노이즈 제거 성능에 한계가 있었으며, 오히려 인공위성에서 중요한 엣지 (edge) 및 디테일 (detail)과 같은 고주파 성분들이 제거되는 문제를 발견하였습니다. 이는 CycleGAN이 영상 도메인 (image domain)에서 영상 변환을 수행하기 때문에 존재하는 한계점으로, CycleGAN이 많은 양의 충분한 데이터로 완벽히 훈련되지 않으면 발생하는 문제입니다.

따라서 이를 극복하기 위해 wavelet transform을 활용한 WavCycleGAN을 개발하였으며, 기존의 방법들 보다 월등한 노이즈 제거 성능을 보임과 동시에 노이즈가 아닌 고주파 성분들이 보존되는 점을 발견하였습니다. Wavelet transform의 장점은 입력 영상을 특정한 방향 성분들로 나눌 수 있다는 점입니다. 이 연구에서 제거하고자 하는 노이즈들은 특정한 방향 특성 (가로 혹은 세로)를 가지고 있으므로, wavelet transform을 이용하면 노이즈와 관련된 성분들만을 복원할 수 있게 됩니다. 이렇게 노이즈와 관련된 성분들만을 포함한 wavelet domain 영상을 복원하게 되면, 노이즈와 관련 없는 성분들은 그대로 유지할 수 있기 때문에, 고주파 성분 손실과 같은 기존 방법의 단점을 극복할 수 있습니다.

Q. WavCycleGAN 알고리즘은 다른 denoising 알고리즘들과 비교하였을 때 어떤 장/단점을 가지고 있나요?

기존의 전통적인 모델 기반의 노이즈 제거 방법들은 사람이 직접 고안한 특징 (feature)이 새로운 데이터의 특성을 충분히 설명하지 못하면, 그 성능이 저하되는 단점을 가지고 있습니다. 하지만 저희가 제안한 알고리즘은 딥러닝 기반의 방법으로, 실제 데이터를 기반으로 훈련하며, 데이터에 최적화된 특징을 자동으로 배울 수 있는 장점이 있습니다. 또한, WavCycleGAN의 경우 노이즈와 관련된 성분만을 다루기 때문에, 노이즈와 연관 없는 영상의 고주파 성분을 그대로 유지하면서, 효율적인 노이즈 제거가 가능합니다. 하지만, WavCycleGAN은 제거하고자 하는 노이즈 특성에 따라 wavelet transform의 종류나 wavelet transform을 수행하는 레벨을 다르게 적용해야 할 필요가 있기에, 사전에 노이즈의 특성에 대한 충분한 지식과 하이퍼파라미터 조절이 필요합니다. 그럼에도 불구하고, 노이즈와 관련 없는 성분들을 유지하면서 효율적인 노이즈 제거 학습이 가능한 알고리즘을 제안하였다는 점에 큰 의미가 있으며, 인공위성 영상뿐만 아니라, 의료 영상이나 일반적인 natural 영상에의 활용으로 확장이 가능한 알고리즘 입니다.

Q. 마지막으로 영상을 처리하는 인공지능 연구를 진로로 희망하는 학부생들을 위해 선배로써 조언 한 말씀 부탁드리겠습니다.

연구를 하다 보면 다양한 문제에 직면하게 되는데, 이럴 때 마다 학부 과정에서 배웠던 기초들이 도움이 많이 되었다고 생각합니다. 영상 처리를 위한 인공지능 연구를 위해서는 다양한 전공 지식을 필요로 합니다. 따라서 학부 과정 중에 수강할 수 있는 관련 과목을 먼저 열심히 수강하는 것을 추천 드립니다. 또한 영상 처리를 위한 인공지능 연구를 위해서 필요한 중요한 요소 중 하나는 알고리즘 구현 능력이라고 생각합니다. 최근에는 영상 처리를 위한 딥러닝을 공부할 수 있는 다양한 자료들이 많으므로, 이를 활용하여 차근차근히 작은 것부터 구현해나가면서 준비를 하는 것도 좋은 방법이라고 생각합니다. 혼자 공부해나가는 것에 한계를 느낄 때는 학부생들을 위한 연구 프로그램을 잘 활용하여 도움을 받는 것도 좋을 것 같습니다. 실제 선배들이 어떤 연구를 하는 지, 그리고 본인이 정말 이 연구분야에 관심 있는 지도 알 수 있는 좋은 기회입니다.

[참고 논문]

Joonyoung Song, Jae-Heon Jeong, Dae-Soon Park, Hyun-Ho Kim, Doo-Chun Seo, Jong Chul Ye, "Unsupervised Denoising for Satellite Imagery using Wavelet Directional CycleGAN", IEEE Trans. on Geoscience and Remote Sensing, vol. 59, no. 8, pp. 6823-6839, Aug. 2021.

기자 : 윤동조 (ehdwh8264@kaist.ac.kr)