사진 속 빛을 원하는 대로 바꾸는 기술 개발

이 연구는 사진 속의 빛을 컴퓨터 그래픽(CG)처럼 사용자가 원하는 대로 조절할 수 있게 하는 새로운 방법을 제시합니다. 쉽게 말해, 일반 사진에 스포트라이트나 특정 방향의 조명 같은 빛을 추가하거나 바꾸는 작업이 가능해진 것입니다. 이 기술을 만들려면 중간 정도의 컴퓨터 시각 기술, 빛의 물리적 특성을 이용한 렌더링, 그리고 신경망을 이용한 렌더링이라는 세 가지 기술을 합쳤습니다. 핵심 과정은 사진을 분석해 장면의 색깔을 가진 3차원 모델(메쉬)을 추측하는 것에서 시작합니다. 이 3D 모델 덕분에 사용자는 3차원 공간에서 원하는 조명 설정을 지정할 수 있습니다. 그다음, 이 장면을 경로 추적 엔진으로 대략적으로 그려보고, 그 결과를 순방향 신경망 렌더러에 넣어 최종적으로 사진처럼 사실적인 조명 변경 결과를 예측합니다. 이 과정에서 실제 사진들을 이용해 신경망 렌더러를 훈련시키기 위해, 정답 데이터가 많지 않아도 실제 사진을 활용해 기술을 발전시킬 수 있는 방법을 사용했습니다.

기존 사진 편집 기술로는 사진 속 빛을 단순히 밝게 하거나 어둡게 조절하는 제한된 수정만 가능했습니다. 하지만 이 연구는 사진에 담긴 빛의 물리적인 성질을 이해하고, 사용자가 마치 3D 모델을 다루듯 빛의 종류와 위치를 정확히 지정해 편집할 수 있게 했다는 점에서 의미가 있습니다. 이 기술은 실제 사진을 분석할 때, 사진 속 장면의 모양과 배치를 3차원 모델로 추측해 표현합니다. 이 추측된 3D 모델 위에 사용자가 원하는 조명 설정을 입히고, 그 결과를 다시 사진처럼 사실적으로 표현해냅니다. 이처럼 실제 사진 데이터를 이용해 인공지능 모델이 스스로 학습하는 방식을 사용했습니다.

연구진은 컴퓨터 그래픽 작업 환경처럼 조명 광원을 사용자가 직접 제어할 수 있는 사진 재조명 방법을 제시했습니다. 사용자는 스포트라이트, 점 광원, 주변 환경 조명 등 다양한 종류의 광원을 장면에 추가할 수 있습니다. 이 과정은 중간 수준의 컴퓨터 비전 기술, 물리 기반 렌더링, 그리고 신경망 렌더링을 포함하는 일련의 과정으로 구현됩니다. 연구진은 실제 사진들을 활용해 야외 환경에서도 잘 작동하도록 신경망 렌더러를 훈련시키기 위해, 미분 가능한 렌더링 기술을 사용한 자기 지도 학습 방법을 도입했습니다. 이 방법은 일반적인 3D 그래픽 도구에서 제공하는 조명 제어 기능을 야외 사진 재조명 분야로 가져온 중요한 발전입니다.

이 기술이 상용화되면 사진을 다루는 모든 분야에 변화를 줄 수 있습니다. 예를 들어, 사진을 찍은 후 특정 부분만 극적으로 강조하고 싶을 때, 단순히 밝기만 조절하는 것이 아니라 마치 스튜디오에서 조명을 새로 설치한 것처럼 원하는 효과를 낼 수 있습니다. 일반 사용자 입장에서는 사진의 분위기나 연출을 훨씬 정교하게 제어하게 됩니다. 개발자나 창작자 입장에서는 기존 사진 편집 소프트웨어의 한계를 넘어, 3D 그래픽 툴에서 사용하던 정밀한 조명 제어 기능을 실제 사진 편집 작업에 적용할 수 있게 됩니다. 다만 이 기술은 사진 속 장면의 모양을 3D로 추측하고 빛의 물리적 특성을 계산하는 과정을 거치기 때문에 현재는 기술 발전 단계에 있습니다.