2'30" 읽기 + 0'41" (영상)
- 역사적 영상을 채색하려는 노력은 1970년대부터 계속되고 있지만 성공률은 제한적
- 딥 러닝 기술과 대화형 자동 색칠 기술을 결합한 AI 시스템을 개발
- 과거 훈련 이미지 모음을 사용하여 훈련된 자가 학습 신경망에 의해 형성
- 효율적인 사용을 위해 프로젝트 파트너인 HS-Art에서 개발한 소프트웨어가 필요

AI 시스템은 흑백 영화에 색상을 제공한다.
적응형 알고리즘은 과거 기록에 사실적인 색조를 제공한다.

회색이 다채로워진다:
연구원들이 역사적 흑백 사진을 사실적으로 색칠할 수 있는 적응형 AI 시스템을 개발했다. 역사적 기록의 도움으로 사전 훈련된 알고리즘은 예를 들어 일반적인 옷, 일상적인 물건 또는 건물이 어떤 색상인지 학습하여 오래된 영화를 빠르고 역사적으로 올바르게 채색할 수 있다. 오래된 녹음에서 흔히 볼 수 있는 "노이즈"도 그대로 유지된다. 

▲ AI 지원 색상화 전후의 역사적인 흑백 영화. © HS-Art

이 세계의 기록 보관소에는 무수한 흑백 역사 사진이 보관되어 있다. 오늘날 이러한 문화재와 현대 문서는 후세를 위해 보존하고 재생할 수 있도록 하기 위해 점차 디지털화 및 복원되고 있다. 이러한 역사적 영상을 채색하려는 노력은 1970년대부터 계속되고 있지만 성공률은 제한적이다. 프레임별로 필름을 채색하는 것은 매우 시간이 많이 걸리며 이전의 자동 채색 시도에서는 결과가 종종 인위적으로 다채롭게 나타나며 특히 현실에 맞지 않았다.

먼저 사전 훈련 후 미세 조정

Graz University of Technology의 Thomas Pock이 이끄는 연구원의 프로젝트가 시작되는 곳이다. 역사적인 영화 복원을 전문으로 하는 Graz에 기반을 둔 회사 HS-ART와 함께 그들은 딥 러닝 기술과 대화형 자동 색칠 기술을 결합한 AI 시스템을 개발했다. 기본은 많은 과거 훈련 이미지 모음을 사용하여 훈련된 자가 학습 신경망에 의해 형성된다.

“당시 옷, 외관 등이 어땠는지 역사적인 자료를 통해 아는 사람이 항상 필요하다. 군인의 제복은 녹색이었을까 아니면 파란색이었을까? 어떤 알고리즘도 그것을 결정할 수 없다. 그러나 그는 그것으로부터 배울 수 있다”라고 Pock은 설명했다. 따라서 AI 시스템에 대한 독립적인 훈련 단계에 이어 인간 주도 제어의 두 번째 단계가 뒤따랐다. "인간이 필름 프레임의 색상을 지정하면 소프트웨어가 추가 프레임의 색상을 지정하는 것처럼 보일 수 있다"고 Pock은 설명했다.

실제 필름 노이즈가 보존된다.

이러한 사전 훈련과 사용자 안내 미세 조정의 조합을 통해서만 AI 시스템은 역사적으로 올바른 실제 색 구성표와 색상을 생성할 수 있다. 이러한 알고리즘을 사용하면 이제 오래된 흑백 영화를 역사적 느낌을 잃지 않고 깔끔하게 복원하고 색상을 지정할 수 있다. "필름 그레인"이라고 불리며, 그렇지 않으면 청중이 진짜가 아닌 효과가 있다"고 Pock은 설명했다.

"그래서 소프트웨어가 복원 및 채색 후에 이 노이즈를 인위적으로 생성하고 추가할 수 있다"고 연구원은 말했다. 이 예비 작업을 기반으로 프로젝트 파트너인 HS-Art가 개발한 "Diamant-Film Colorizer"는 이미 실제로 입증되었다. 무엇보다도 독일 ZDF 방송국의 시대 다큐멘터리 시리즈 "Hitler's Power 히틀러의 권력"에서 진정한 역사적 기록의 원본을 채색했다.

핵심 알고리즘은 주요 국제회의에서 공개됐으며 소스 코드는 자유롭게 액세스할 수 있다. 그러나 효율적인 사용을 위해서는 프로젝트 파트너인 HS-Art에서 개발한 이를 기반으로 하는 소프트웨어가 필요하다.
출처: 그라츠 공과대학

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]