[들어가며]

본 글은 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (ECCV2020) 논문을 기반으로 다양한 모델과 API를 사용할 수 있게 하는 NeRFstudio에 대한 글입니다. 기존의 3D Reconstruction 작업은 이미지를 통해 3D 물체를 복원해서 인테리어, 엔터테인먼트, 건축 등 다양한 분야에서 사용되지만 복원된 object가 실제 view처럼 보여주지는 못합니다. NeRF는 물체의 복원 보다는 기존에 없었던 새로운 camera position 에서의 장면의 복원에 가깝다고 할 수 있습니다.

위 그림처럼 NeRFstudio는 입력으로 다양한 각도에서 찍힌 사진을 가지고 3D 복원을 통해서 기존에 이미지에 찍히지 않은 사진 사이 사이의 각도에서의 view를 복원해 주는 기술입니다. 즉, 3D 복원의 목적보다는 ‘새로운 camera position에서 바라본 이미지는 어떻게 생겼을까?’를 복원하는 것이며, 3D Recon이 잘 되어야 새로운 position에서도 이미지를 잘 예측할 수 있습니다.

테스트 시에 임의의 camera parameter(K’, R’, t)를 실제 view와 유사하게 만드는 게 목적입니다.

간략하게 NeRF의 구조를 설명하면, Structure from Motion을 사용해 camera calibration을 하여 camera parameter를 구한 다음 수행하는 것입니다.

(x,y,z, θ, Φ)(position, direction) 5개를 F에 input으로 넣어 주는데, x,y,z는 3D point 값, θ, Φ는 view의 각도를 나타냅니다. Neural network F_{θ}는 output으로 3D field를 예측하는데 그 결과 값은 (r,g,b,σ) 이고 어떤 color를 가지는지에 대한 (r,g,b)값과, occupancy(이미지의 내부인지 아닌지)에 대한 σ로 나오게 됩니다. 

위 사진처럼 한 점의 색상(보라색 박스)를 나타내는 건 하나의 3D point가 아니라 ray를 따라 지나는 공간이 합쳐진 것이라고 생각하면 됩니다.

모든 이미지에 대해 각 r,g,b,σ를 구하고, 이 값은 ray에 대해 volume rendering 한 값입니다. ray r(t) 는 o + td (o : cam center, d : unit direction, t : 길이)로, 따라서 r(t)는 t에 따라 변하는 ray의 3D point입니다. 아래 계산을 통해 나온 값과 2D 이미지의 ground truth color를 가지고 두 값 사이의 차이를 계산해서 실제 보이는 view와 유사하게 만들어 주는 게 목표입니다.

C(r)는 Ray r에 대한 2d color 값으로 적분을 통해 t의 변화에 따라 continuous하게 값이 있습니다.

σ는 point r(t)가 주어졌을 때의 density이고, c(r(t),d)는 point와 direction이 주어졌을 때의 color입니다.

T는 accumulated transmittance로 어떤 3D point가 있을 때 보이는 점과 안 보이는 점에 따라 weight를 크거나 작게 설정해 주는 값입니다. 이는 아래의 그림과 같이 한 2D point에 대한 color 값이 ray를 따라 합쳐지는데, 가려진 물체가 있다면 가려진 부분의 영향을 반영하기 위해서 입니다. 즉, 2D color(C(r))는 그 ray에서 만나는 점들의 density와 color의 intergration 입니다.

아래 그림에서 t부터 tn까지 intergration이므로 지수 값이 커질수록 지수함수 그래프가 작아지게 되어 T(t)가 작아지게 됩니다.

따라서 T(t)값이 매우 작아지기 때문에 다른 값에 상관없이 color C(r) 값에 영향이 없게 됩니다.

아래는 NeRF의 결과물입니다.

NeRFstudio는 NeRF, instant-ngp, nerfacto … 등등 NeRF에서 파생된 여러 방법들을 구현해 놓고, 실험해 볼 수 있는 framework 입니다. Viewer, 모델, 전처리 등등 API로 구현되어 있어서 손쉽게 사용할 수 있습니다.

<실험 환경>

• 도커 이미지
  • docker pull dromni/nerfstudio:0.1.19
• 도커 컨테이너 실행
  • docker run --gpus all -d -it --name Nerfstudio --ipc=host -v {/local_path}:/workspace/nerfstudio 306e47db70ad

<데이터>

NeRFstudio 공식 페이지에서는 다양한 방법의 input data를 지원하고 있습니다.

추가적인 어플리케이션 없이 이미지와 video 파일을 통해 진행해보도록 하겠습니다. 우선 한 물체에 대해 연속적인 촬영을 통해 얻은 이미지나 영상을 사용합니다. 영상의 frame 전부가 사용되지는 않습니다.

ns-process-data {images, video} --data {DATA_PATH} --output-dir {PROCESSED_DATA_DIR}

downscale 과정 때문에 시간이 많이 소요되는데 --num-downscales 0 옵션을 추가해 주면 downscale 없이 더 빠르게 진행이 가능합니다.

<실행 화면>

​ 

<학습 수행>