[들어가며]

Light stage(라이트 스테이지)는 광학적인 연구와 3D 컴퓨터 그래픽스 분야에서 중요한 도구인데요, 이미 20년 넘게 연구되고 있습니다. 이 기술은 조명 및 표면 속성을 실시간으로 캡쳐하고 시뮬레이션 하기 위한 고급 시스템으로 물리학, 컴퓨터 비전, 그래픽 디자인 등 다양한 분야에서 활용되고 있습니다. 구체적인 사용 예시는 아래와 같습니다.

조명 재현: Light stage는 조명의 강도, 방향, 색상 등을 정밀하게 조절하고 재현할 수 있습니다. 이것은 3D 모델이나 실제 객체에 현실적인 조명 조건을 적용하거나, 다양한 광원 조건에서의 물체의 반사와 음영을 연구하는데 사용됩니다.
얼굴 및 피부 스캔: Light stage는 얼굴 및 인체 스캔에 매우 유용합니다. 실제 조명 하에서 얼굴과 피부의 세부 정보를 캡처하고 디지털로 저장할 수 있으며, 이 정보는 의료, 영화, 비디오 게임, 화장품 산업 등 다양한 분야에서 활용됩니다.
애니메이션 및 영화 제작: 영화 및 애니메이션 제작에서 Light stage는 배우와 캐릭터의 얼굴과 표정을 디지털로 재현하는 데 사용됩니다. 배우의 표정과 움직임을 정확하게 캡처하여 디지털 캐릭터에 적용할 수 있습니다.

본 글에서는 20년간 발전해 온 Light stage의 기본 개념을 이해하는 데 도움이 되는 내용을 소개하고자 합니다. 우선, Light stage를 이용하여 얼굴을 다루는 것을 주제로 시작하겠습니다. 사람 얼굴에는 low frequency geometry(코, 뺨, 턱, 입술, 이마)를 가지는 영역과, high frequency geometry(주름, 눈썹, 털, 모공)를 가지는 영역이 둘 다 존재합니다. Stereo matching, multiview geometry, structure-from-motion, light field imaging과 같은 reconstruction 기술들은 low frequency geometry를 복원할 수 있습니다. High frequency geometry를 복원하는 것은 이보다 더 도전적인 문제입니다. 따라서 3D laser scan을 이용하는 방법 또는 ultra-high precision photometric stereo와 같은 캡쳐 시스템을 이용합니다.

그림 1. 오른쪽으로 갈수록 훌륭한 High frequency geometry reconstruction

[Light stage 1]

Light stage는 Paul Debevec 교수가 UC Berkeley 대학에서 2000년도에 처음 시작하여 지금까지 계속해서 발전하고 있습니다. 본 글에서는 Light stage 의 시작인 Acquiring the Reflectance Field of a Human Face 논문에 대해 알아보겠습니다.

그림 2. Photometric stereo / 그림 3. Reflectance Field

Light stage는 얼굴의 디테일을 스캔하기 위해 photometric stereo 방법을 이용합니다. Photometric stereo 는 위 그림과 같이 빛의 방향만 다른 사진 여러 장을 이용하여 detailed geometry를 복원합니다. 실제 사용할 때는 쉽게 calibration을 하기 위해 빛이 평행하게 올 수 있도록 광원을 무한히 멀리 있는 포인트 (Infinity point)에서 온다고 가정하여 진행합니다.

그림 4. Light stage 장비 / 그림 5. Light stage 촬영 모습

Light stage 버전 1의 장비는 위와 같습니다. 한 개의 광원이 구 형태와 같이 회전하며 계속해서 촬영을 진행합니다. Light stage 처음 버전에서 사용하는 기술은 Image based Relighting이라고 합니다. 뒤에서 더 설명하겠지만, 해당 기술은 동일한 장면을 광원만 바꿔가며 찍은 사진들을 이용하여 수학적으로 새로운 빛 환경에서의 이미지를 합성해 낼 수 있습니다. 그러나 촬영할 때의 카메라의 위치 객체의 위치와 같은 다른 요인들은 변할 수 없다는 단점이 있습니다.

그림 6. Spherical coordinate system

구면 좌표계에서 일정한 모든 각도로 광원이 움직이며 그로 인해 생긴 변화가 이미지로 촬영됩니다. 아래 왼쪽 사진을 보시면 각 하나의 픽셀은 Grid 이며, Grid 는 촬영한 모든 광원에서의 이미지들로 부터 동일한 픽셀(x,y) 을 추출하여 만든 Grid 입니다.

그림 7. Reflectance functions

구면좌표계에서 쎄타와 파이가 변할 때 마다 촬영한 이미지들을 모두 이용하여 광원이 들어오는 방향에 따른 이미지의 x, y 위치의 intensity를 정의하는 Reflectance function을 만들 수 있습니다. 위 오른쪽 그림에서 이미지들에 중간에 보이는 검은색 부분은 장비가 회전하면서 촬영하다 발생하는 Occlusion이라 큰 의미는 없습니다. 이렇게 Reflectance functions을 만들었다면, 임의의 광원 위치로부터의 세기를 변화시켜 새로운 환경에서의 사진을 만들어 낼 수 있습니다.

그림 8. Environment map(Chrome ball)과 해당 빛 환경을 적용하여 만든 이미지

Light stage에서는 광원이 하나였지만, 실제 세계는 모든 방향에서 빛이 들어오게 됩니다. 위 사진의 Environment map은 내가 합성하고 싶은 빛 환경을 촬영한 것입니다. 실제 해당 장소에서 크롬 볼을 세워 두고 특수 카메라로 촬영하여 얻을 수 있습니다. 모든 방향에서 오는 빛의 세기를 알고 있으니, 이 빛이 이미지에 어떻게 영향을 주는지 구해서 모두 더하면 이미지를 합성할 수 있습니다. 여기서 우리가 구해 놓은 Reflectance functions을 이용합니다.

그림 9. Re-lighting

그림 10. Lambert's consine law

우선, 시그마 A를 곱해줘서 light map을 normalized light map으로 변환해줘야 합니다. 이는 foreshortened area에 대한 개념인데요, 빛의 각도에 따라 비추는 표면적이 달라지는 것을 고려해준다고 생각하시면 됩니다.

L hat 식은 들어가는 빛을 방향 쎄타와 파이를 변경해가며 모든 방향에서의 값을 더해 pixel value를 구하는 것 입니다. 이러한 방식을 Image based relighting이라 하며, 렌더링이 매우 어려운 투명한 물체와 같은 것도 잘 만들 수 있다는 장점이 있습니다.