4분 읽기
- 새롭게 개발된 램프용 빛 코드는 영상에 일종의 "워터마크"처럼 표시를 해 조작 및 위조 여부를 밝혀낼 수 있다
- 이러한 빛 워터마크가 영상 녹화 위치를 드러낼 수도 있다

빛 속에 숨겨진 코드, 가짜 영상의 정체를 밝혀낸다.
빛 속 "워터마크", 향후 영상 조작 감지 가능

빛 워터마크:
새롭게 개발된 램프용 빛 코드는 영상에 일종의 "워터마크"처럼 표시를 해 조작 및 위조 여부를 밝혀낼 수 있다. 영상이 위조되거나 인공지능에 의해 완전히 생성될 경우, 이러한 눈에 보이지 않는 밝기 변화가 사라지거나 타이밍이 맞지 않기 때문이다. 연구진은 이러한 빛 워터마크가 영상 녹화 위치를 드러낼 수도 있다고 설명했다. 

▲ 특정 환경에서 촬영된 비디오의 공간적 및 시간적 조작을 훨씬 쉽게 감지할 수 있도록 하는 빛 워터마킹 기술인 잡음 코딩 조명(NCI)을 제시한다. 왼쪽은 강의실에서 프레젠테이션 중 코딩된 조명 하나가 배치된 장면을 보여준다. 위 가운데 이미지는 해당 장면을 수정하지 않은 비디오의 한 프레임을 보여준다. 아래 가운데 이미지는 프레젠테이션 슬라이드 내용이 변경되고, 생성 모델을 사용하여 뒷벽에 감시 카메라를 추가하고, 녹음된 대화의 일부를 워프 컷으로 제거하여 의미를 변경한, 조작된 비디오의 한 프레임을 보여준다. 빨간색으로 표시된 세로 줄무늬는 시간에 따른 작은 픽셀 스트립(빨간색으로 강조 표시됨)에서 추출한 색상 값을 시각화한다. 이 스트립은 대부분 일정해 보이며, 코딩된 빛의 미묘한 변화를 반영한다. 그 다음 이미지 열("공간 조작 시각화")에는 원본 비디오(위)와 조작된 비디오(아래)에서 복구된 코드 이미지가 포함되어 있다. 조작되지 않은 코드 이미지는 장면 왼쪽에 배치된 코드된 조명만으로 비췄을 때의 모습을 대략적으로 보여준다. 조작된 비디오에서 추출한 하단 코드 이미지에서는 가짜 콘텐츠가 빛을 반사하지 않는 것으로 나타나, 원본 장면의 일부가 아니었음을 나타낸다. 가장 오른쪽 열의 그래프는 각 비디오에서 추출한 시간 정렬 행렬을 보여준다. 원본 비디오의 정렬 행렬은 끊김 없는 대각선을 보여주는 반면, 조작된 비디오의 정렬 행렬은 단어가 제거된 불연속 부분(빨간색 상자로 강조 표시)을 보여준다. (출처:Noise-Coded Illumination for Forensic and Photometric Video Analysis / ACM Digital Library)

영상이 등장한 이후, 사람들은 단순히 영상을 녹화하는 데 그치지 않고 편집까지 해왔다. 의미 있는 편집물을 제작하거나, 의도적으로 잘못된 정보와 오해의 소지가 있는 이미지를 유포하기 위해서였다. 생성 AI와 소셜 미디어 덕분에 이러한 가짜 영상은 그 어느 때보다 빠르고 쉽게 제작되고 배포될 수 있다. 이타카 코넬 대학교의 선임 저자인 에이브 데이비스(Abe Davis)는 "예전에는 영상이 진실의 원천으로 여겨졌지만, 이제는 무엇이 진짜인지 판단하기가 점점 더 어려워지고 있다"고 말했다.

현재 비디오 조작을 감지하거나 디지털 비디오 파일에 일종의 "워터마크"를 추가하는 기술이 있지만, 일부 픽셀은 원본 영상을 식별하기 위해 최소한으로 변경된다. 이러한 픽셀이 없는 경우, 해당 비디오는 인공지능, 또는 이러한 표시 기능이 없는 카메라에 의해 제작되거나 조작되었을 가능성이 있다. 이러한 표시 픽셀의 존재는 비디오의 진위성을 증명하지만, 없다고 해서 사기의 결정적인 증거는 아니다.

녹화 위치에 워터마크 표시

데이비스와 코넬 대학교의 수석 저자인 피터 마이클(Peter Michael)이 이끄는 연구진은 원본 비디오를 표시하는 새로운 기술을 개발했다. 이 표시는 카메라가 아닌 녹화 위치의 광원에 의해 수행된다. 이러한 광원은 컴퓨터 화면, 건물의 일반 조명, 스포트라이트, 심지어 실외 등(燈)일 수 있다.

화면은 소프트웨어를 통해 직접 프로그래밍되며, 우표 크기의 외부 컴퓨터 칩이 램프에 부착된다. 그러면 프로그램은 빛의 밝기가 특정 속도로 변동하도록 지정한다. 이러한 깜빡임은 사람의 눈에는 보이지 않는다. 마치 녹음 시 들리지 않는 오디오 워터마크와 유사하다. 또한 이러한 조명 조건에서 영상을 녹화하는 카메라는 필연적으로 이러한 패턴을 기록한다.

편차가 영상 조작을 드러내

나중에 영상을 검토할 때, 정보에 정통한 사실 확인자는 이 숨겨진 빛 코드를 사용해 영상이 나중에 조작되었는지 확인할 수 있다. 이 경우, 영상 클립에는 처음부터 끝까지 동일한 "빛 워터마크"가 나타나지 않고, 미묘한 밝기 변화에 따라 시간적으로 끊기거나 불규칙한 리듬이 나타난다.

예를 들어, 누군가 영상을 잘라내고 영상을 줄인 경우, 컴퓨터 포렌식 전문가는 이러한 징후를 이용하여 빈틈을 파악할 수 있다. 누군가 물체를 추가하거나 영상 이미지의 일부를 대체하는 경우, 분석 소프트웨어는 코드와 호환되지 않는 변경된 부분을 검은색으로 표시한다. 따라서 비교할 원본 영상이 없더라도 문제의 영상이 조작되었는지를 명확하게 알 수 있다.

▲ 오해의 소지가 있는 컷의 특성화 인터뷰 장면은 하나의 광각 카메라(카메라 1), 인터뷰어를 위한 하나의 클로즈업 카메라(카메라 2), 인터뷰 대상자를 위한 하나(카메라 3)로 구성된 표준적인 3개 카메라 텔레비전 인터뷰 설정(왼쪽)을 따른다. 장면의 원래 대화에서 인터뷰 대상자는 정치 캠페인의 가짜 영상에 대한 우려를 표명한다(왼쪽 중앙). 악의적으로 편집된 버전은 인터뷰 대상자가 허위 정보를 퍼뜨리기 위해 가짜 영상 사용을 지지하고 장려하는 것처럼 보이도록 사운드 체크 중에 제공된 이전 응답의 영상을 삽입한다(오른쪽 중앙). 복구된 정렬 매트릭스는 각 클립의 원래 타이밍을 표시하며, 이는 조작된 비디오의 답변이 해당 질문 이전에 녹화된 영상에서 나온 것이며, 악의적으로 맥락에서 벗어났음을 나타낸다. (출처:Noise-Coded Illumination for Forensic and Photometric Video Analysis / ACM Digital Library)

생성 AI를 능가하다

딥페이크 또한 이 기술 때문에 더욱 어려워질 것이다. 데이비스는 "누군가 AI로 가짜 영상을 만들려고 하면, 결과적으로 나오는 빛 코드는 무작위적인 변화처럼 보일 뿐이다"고 설명했다. 연구팀은 깜박이는 코드가 의도적으로 자연스러운 노이즈처럼 보이도록 설계되어 감지하기가 매우 어렵기 때문이라고 설명했다. 따라서 이 기술은 "노이즈 코딩 조명(Noise-Coded Illumination)"이라고 한다. 인공지능은 이 코드의 원리를 이해하지 못하기 때문에 무작위적인 변동을 발생시킨다.

위조자는 시간이 지남에 따라 코드를 파악하고 빛 패턴을 위조할 수 있다. "하지만 공격자가 해당 기술이 사용되고 있다는 사실을 알고 어떻게든 코드를 파악하더라도, 그들의 작업은 훨씬 더 어려워진다"고 데이비스는 말했다. 또한, 각각 다른 "워터마크"가 있는 최대 세 개의 광원을 하나의 녹화 위치에 결합할 수 있다. 이는 위조자가 각 코드를 개별적으로 해독해야 하기 때문에 작업을 더욱 어렵게 만든다.

▲ 조명 분석을 위한 코드 이미지 여러 광원에 코드 신호 대역폭을 분할하여 광원의 조도를 분해하여 비디오의 노이즈로 인코딩할 수 있다. 이 예시에서는 두 개의 코드화된 광원을 사용하여 회의실에서 비디오를 촬영했다. 첫 번째 코드화된 광원은 화면 왼쪽, 화면 밖에 위치한 LED 램프이고, 두 번째 코드화된 광원은 화면 오른쪽에 부분적으로 보이는 대형 모니터다. 맨 위 행은 원본 비디오에서 추출한 이미지를 시각화하고, 맨 아래 행은 테이블 위에 봉제 인형을 배치하도록 편집된 비디오의 해당 이미지를 시각화한다. 왼쪽 열은 두 비디오에서 촬영한 프레임을 비교. 가운데 열은 첫 번째 코드의 코드 이미지를 비교하는데, 왼쪽 LED 램프에 의해서만 조명된 장면을 보여준다. 오른쪽 열은 두 번째 코드의 코드 이미지를 비교하는데, 오른쪽 모니터에 의해서만 조명된 장면. 가짜 비디오(아래)의 코드 이미지에서는 몇 가지 조작 흔적이 보인다. 추가된 콘텐츠는 코드화된 빛을 반사하지 않는 것처럼 보인다. 코드 이미지를 사용하면 원본 프레임에서 다른 광원에 가려진 그림자를 더 쉽게 볼 수 있다. LED 램프에서 사람의 머리가 드리운 그림자는 코딩되지 않은 천장 조명 때문에 원본 영상에서는 거의 보이지 않는다. 그러나 코드 이미지 1에서는 다른 모든 광원이 제거되어 그림자의 이 부분이 선명하게 보인다. 추가된 콘텐츠에 대한 유사한 코드 그림자는 조작된 코드 이미지에서는 누락되었다. 이러한 결과를 더 잘 보려면 확대하는 것이 좋다. (출처:Noise-Coded Illumination for Forensic and Photometric Video Analysis / ACM Digital Library)

정치적 콘텐츠 보호

미래에는 주요 장소에 개별 "워터마크"가 있는 광원이 비출 수 있다. 이러한 광원은 기자회견, 인터뷰, 정치인 연설이 이루어지는 장소, 심지어 유엔 본부처럼 건물 전체가 될 수도 있다. 조명에 코드를 삽입하면 이러한 장소에서 녹화된 모든 영상에 누가 어떤 카메라로 녹화했는지와 관계없이 비밀 워터마크가 포함된다.

그러나 데이비스와 마이클의 팀은 허위 정보와의 싸움은 군비 경쟁이며, 적들은 계속해서 속일 새로운 방법을 찾아낼 것이라고 강조했다. 따라서 그들의 기술은 영상 조작을 더욱 어렵게 만들어 관제사에게 일시적인 이점만 줄 가능성이 높다.
참고: ACM Transactions on Graphics, 2025; doi: 10.1145/3742892
출처: Cornell University

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]