시각효과

1. 개요

2. 상세

3. 분류

3.1. 디지털 이전

• 페인팅 온 필름 (painting on film)
  촬영한 필름 위에 한 장 한 장 물감으로 그림을 그리는 방법이다. 디테일하게 세필로 그리는 루뻬 작업부터 하늘색 톤을 바꾸는 등의 작업에 쓰였다. 한국 초기 TV 광고들에도 컴퓨터가 없었을 시절 촬영한 필름 위에 제품명을 그려서 자막을 만들곤 하였다.

• 매트 페인팅 (Matte painting)
  다이내믹한 구름이 그려진 하늘을 그린다든가 성같은 그림을 그려서 카메라 앞에 위치한다. 그리고 거리 비례로 충분한 거리에 배우가 위치해서 마치 동화적인 하늘이나 성에 배우가 있는것처럼 촬영한다. 우리가 흔히 카메라 놀이할때 앞에 있는 사람이 뒤에 멀리 있는 사람을 잡아먹는듯한 포즈를 취하는것처럼 카메라 앞에 작게 그린 배경그림이 마치 큰 배경같은 착시효과를 노리는 방법이었다... 그래도 화질이 좋지않은 시대때나 유용했지 요즘같으면 다 티난다. 매트페인팅에 대한 자세한 영상이 올라와 있다.

3.2. 디지털 시대

3.2.1. 2D

• 합성 (Compositing)
  합성은 넓은 의미로 시각효과의 모든 것이다. 반론의 여지가 있을 수 있지만 매트 페인팅을 하건 3D를 하건 어쨌든 실사 촬영본에 집어넣는것 자체를 합성으로 부르기에 모든 시각효과는 합성의 범주에 들어가던가 모든 시각효과의 최종장이 합성이라고 보면 된다. 말그대로 수많은 소스, 작업물을 하나로 모아서 최종적인 결과물로 합성해내는 작업이다. 그리고 이는 2D상에서 이루어진다. 실사촬영본이 평면이니까... (3D애니메이션이라도 2D에서 합성하지만... 이는 아무리 Full-3D라도 리터치나 미묘한 색보정 등 평면작업은 필요하니까)
  
  합성툴은 매우 다양하지만 현재 영화업계에선 대부분 영국 파운드리사의 누크가 평정하고 있다. 기본적인 2D 합성부터 프로젝션 기법을 이용한 2.5D, 최근 버전에선 아예 3D 모델링을 불러와 자체적으로 라이트를 배치하고 간단한 렌더링이 가능하며, 파티클 기능까지 더해져서 이 프로그램을 잘 다루면 웬만한 영상물을 제작할 수 있다. 또한 다양한 분야에 적용되므로 합성뿐만 아니라 후술할 3D나 트래킹, FX 분야에서도 접목하여 사용한다. 광고나 방송쪽은 성향에 따라 매우 다양한 프로그램을 사용하는데 대표적으로 어도비사의 애프터 이펙트(after effect)(흔히 애펙이라 부른다.)가 널리 사용된다.
  
  합성은 최종 결과물을 제작하는 부서라서 마감일(업계에선 데드라인이라 부른다.) 또는 클라이언트에게 결과물을 넘겨주는 딜리버리 날짜가 다가올수록 엄청난 업무량과 스트레스에 시달린다. 또한 타 부서의 결과물을 넘겨받아 합성하는 경우가 많아서 일정에 쫓기는 경우가 많고, 심하면 타 부서는 업무가 마감되어 여유를 부릴때 본격적으로 밤샘을 시작하는 경우도 많다.

• 로토스코핑 (Roto Scoping)
  실사 촬영본에서 필요없는 요소를 제거하거나 필요한 요소(주로 배우를 배경에서 분리하는 경우가 대다수.)만 외곽선을 따서 분리하는 과정이다. 이 과정 전반을 업계에선 로토라 칭한다. 합성 이전에 거의 기본적으로 이뤄지는 과정이다. 요즘 영화는 대부분 그린매트나 블루매트를 배경으로 깔아놓고 촬영하며, 합성 프로그램들을 기본적으로 이런 그린매트나 블루매트의 배경색을 제거하는 기능이 있다. 여기에 추가적으로 로토 작업을 거쳐 완벽한 상태로 배우를 분리하는 것이다. 업무 특성상 굉장한 집중력과 체력이 요구된다. 쉽게 말해서 사진을 찍어놓고 가위나 칼로 필요한 부분만 정교하게 떼어내는 과정인데 영화는 1초에 24장이 필요하다. 머리카락이라도 로토로 딴다 치면 1초만 작업해도 미세하게 움직이는 머리키락 외곽선과 모션블러같은 다양한 장애요소를 감안해 작업해야하고, 그걸 플레이 했을때 외곽선이 어색하게 튄다거나 원본을 크게 손상시키지 않는 범위에서 만족할 품질이 나와야 한다. 보통 영화컷은 5초에서 10초정도로 나누는데 단순히 계산해도 5초짜리 컷이면 120장을 따야한다..
  
  업무 특성상 고급 기술이 별로 필요치 않으며, 노하우와 근성이 중요해서 주로 입사 초반 신입들에게 합성의 기본 개념으로 주로 배당하게 된다. 혹은 이 로토 작업만을 전문적으로 수행하는 업체가 존재하기도 한다. 요즘 웬만한 기업들은 합성팀을 갖추고 있지만 로토작업이라는게 워낙 노가다를 요구하다보니 귀찮은 일은 외주로 던져버리는 업체들이 많다. (로토작업이 어느 정도를 넘어가게 많으면 회사에서 직접 처리하는 것보다 외주로 쳐버리는게 값이 싸다.) 국내에도 다수 존재하지만 주로 노동력이 싼 중국이나 인도에 로토를 전문적으로 하는 상당히 많은 업체가 있다.

• 디지털 매트 페인팅 (Digital Matte painting)
  상기 디지털 이전 매트페인팅과 유사하다. 평면작업이라는데서 더더욱 유사하다. 하지만 손으로 그린 매트페인팅들은 사진소스나 디지털드로잉 등으로 대체 되었고 정말 카메라 앞에 놓고 착시로 보여주던것을 컴퓨터 합성 프로그램으로 보여주는것으로 바뀌었다. 카메라 뷰가 심하게 마뀌지 않고 좌우로 단순이동하거나 아주 먼 원경등은 3D 매트페인팅같이 다양한 각도가 필요없으므로 2D 매트페인팅으로 해결한다. 간단하게 그냥 시퍼런 하늘에 구름사진 한장가지고 살짝쿵 움직이게 넣어서 구름이 드라마틱한 하늘을 만들어도 2D 매트페인팅.
  
  하지만 시간이 지나면서 클라이언트의 디테일한 요구가 많아졌고, 2.5D라 부르는 프로젝션 기법을 사용한 입체감이 느껴지는 배경을 요구하는 경우가 늘어나면서 배경을 입체적으로 구성하고 레이어로 나누어 합성팀에 넘겨주기도 한다. 또한 영화의 해상도가 높아지면서 그만큼 더 정교하고 해상도가 높은 배경이 요구되면서 4K는 기본이고 심하면 8K 이상의 엄청나게 광활한 매트를 제작하는 경우도 발생한다.
  
  디지털 매트페인팅은 어도비의 포토샵이 기본적인 툴이다. 그 외에 2.5D를 요구하는 경우 누크나 오토데스크의 마야같은 툴을 곁다리로 이용하기도 한다.

• 모션 그래픽 (motion graphic)
  실제같은 합성이 아닌 자막이나 그래픽이 움직이게 하는 분야. 흔히 영화 인트로나 엔딩에 출연자나 연출, 스탭, 또는 제목등을 나타낼때 나오는 모든것으로 보면 이해하기 쉽다. 타이틀 작업을 100% 모션그래픽으로 볼 순 없으나 그 중에 실사배경분을 뺀 자막, 그래픽등이 움직인다면? 모션그래픽이라고 이해하자. 특히 샘 레이미의 스파이더맨 삼부작[3] 인트로 타이틀이나 《캐치 미 이프 유 캔》 같은 영화의 타이틀도 좋은 모션그래픽을 보여준다. 영화뿐 아니라 TV광고에 나오는 자막도 모션그래픽 범주에 속한다.
  
  특성상 영화쪽보다 광고와 방송에서 더욱 가치를 인정받는다. 어차피 영화쪽에선 모션 그래픽을 잘 하는 회사에 필요한 부분만 외주를 주기때문에. 모션 그래픽은 참신한 아이디어가 매우 중요하다. 이쪽 분야는 대부분 애프터 이펙트를 주력 툴로 사용한다.

• 리터치 (retouch)
  포샵질의 동영상 버전. 가끔 연예인 원본이니 기럭지, 통허리 드립칠때 그 사진 한장 수정하는 것과 움직이는 동영상을 한장 한장 수정하는 것 중 뭐가 더 힘들까? 연예인이 TV에 이쁘게 나온다고? 다 믿지는 말자. 그나마 드라마가 사람보정이 거의 없다시피 하고[4] 영화는 중요한 클로즈업은 손을 대고[5] TV광고는 100%다.[6]
  
  보통 피부톤을 정리해 촉촉하고 매끈한 얼굴로 탈바꿈이 기본적인 업무다. 깐깐한 클라이언트는 피부에 잡티나 점도 지워달라는 경우가 있다. 특히 목주름은 최대 난코스. 리터치 분야는 광고에서 특히 중요시되며, TV해상도가 Full HD를 넘어 UHD로 치달으면서 덩달아 원본의 해상도가 4배 커졌으니 그만큼 더 정교한 노가다가 필요한 시대가 되었다..

• 색보정 (color correction / Digital Intermediate 줄여서 DI)
  합성을 거친 결과물의 색을 보정하는 단계다. 색을 보정하기 전에는 다양한 색들이 조합되어 이도 저도 아닌 아마추어의 그것으로 보이지만 이 단계를 거치면 그런 색들을 조정하여 상당히 아름답게 나타낼 수 있다. 또한 이 단계와 더불어 컬러 그레이딩(Color Grading)을 함께 하기도 한다. 컬러 그레이딩이란, 한마디로 색의 스타일화라고 보면 될 것이다. 색보정과 그레이딩을 한 before & after 컬러 그레이딩은 특히 뮤직비디오에서 대놓고 쓰이는 경향이 있으며, 컬러 그레이딩이 컬러 코렉션에 비해서 좀 더 과감하게 색을 바꾸는 단계이기 때문에 초심자들은 이에 주의하여야 한다. 그래서, 많은 전문가들은 편집자가 색보정과 그레이딩 작업을 하다보면, 편집자의 눈이 그 작업 한 것에 익숙 해 져, 그 작업물이 아름답게 잘 보정이 되고 있는지 안 되고 있는지 판단을 잘 못할 확률이 높아지기 때문에 중간 중간 몇시간씩 쉬고 다시 작업을 하는 것을 권장하는 편이다. 여담으로 몇몇 편집자들은 사람들이 가장 몰라주는 단계라며 칭얼대기도 한다.[7]
  
  영화의 경우, 색보정 과정을 DI라 칭하며, 최종적으로 극장 스크린에 걸기전 감독의 의도와 극장의 상영환경을 고려한 최종적인 색감을 만드는 과정이다. 보통 합성이 마무리된 결과물은 밝은 모니터 환경에서 제작되었기에 실제 어두운 상영관에서 보여지는 색감과는 차이가 크다. 따라서 그런 외부 요인을 고려해 특정 컬러대역을 좀더 어둡히거나 밝게 변화시키고, 명암 대비와 색감 대비를 변화시켜 관객이 보기에 자연스럽고 아름다운 컬러를 가진 영상으로 재탄생하는 것이다. 예를 들어 매트릭스 시리즈의 경우 전체적으로 매트릭스 내부 상황 장면은 녹색톤이 적용되어 있는데, 이는 DI 과정에서 감독의 의도에 따라 전체적으로 녹색톤이 나오도록 영상물을 보정한 결과이다. 이런 과정을 전문적으로 수행하는 사람을 디지털 컬러리스트(Digital Colorist)라 칭한다.

3.2.2. 3D

• 사전 시각화 (Previsualization; Previs)
  촬영 작업 및 모션 캡쳐 이전에 영상의 구도를 미리 설계하는 과정이다. 사전 시각화 작업에서는 낮은 폴리곤수의 3D 모델링이 동원되며 주변 배경과 피사체의 움직임을 간략하게 표현하여 영상으로 남긴다. 또한, 컷씬마다 어떤 화각의 렌즈를 써야할지도 이 단계에서 정하게 된다.

• 3D 매트 페인팅 (Matte painting)
  열번 듣기보다 한번 보는 게 낫다. 카메라의 움직임이 시야각의 변화가 느껴질만큼 크다면 2D매트페인팅으로 해결하기 어렵다. 2D매트페인팅의 경우 한 장의 종이와 같아서 정면을 제외한 측면들을 보여주지 못하기에 3D매트페인팅으로 원근과 입체적인 배경을 해결한다. 최근 추세는 2D 매트 페인팅에서 제한적으로 3D 툴을 이용해 구성하는 방식으로 변화했다.
  
  요즘은 실시간 렌더링 기술이 향상되면서 xr을 기반으로 한 촬영 방식이 등장했다!! https://youtu.be/VdrTMSy6jks
  과거처럼 촬영시 상상력에 의존하여 촬영하고, 3d 모델을 영상에 어거지로 끼워 맞추는 방식이 아니라 촬영단계부터 3d 모델을 직접 눈으로 보며 촬영할 수 있는 장점이 있다.

• 3D 애니메이션 (Animation)
  디지털 캐릭터나 크리쳐, 사물의 움직임을 만드는 과정이다. 3D 요소가 들어가는 장면이라면 거의 대부분 애니메이션이 필요하다. 3D 분야의 기본중의 기본이고 기초를 책임지는 분야. 아무리 모델링이 훌륭해도 애니메이션이 어색하면 결과물은 안 봐도 비디오다. 특히 현실에 존재하지 않는 크리쳐(공룡이나 괴물, 외계인 같은)의 움직임을 구현하는게 난이도가 높다. 업무 특성상 애니메이션 스킬이 뛰어나면 영화뿐만 아니라 게임 업계에서도 활약할 수 있다. 프로그램에 따라 근육의 움직임을 시뮬레이션하는 기능이 사용될 수 있고, 더 나아가 애니메이션의 움직임에 따라 자연스러운 근육이나 피부의 변화가 구현되는 경우도 있다. 주로 오토데스크의 마야를 사용한다.

• 매치 무브 / 트래킹 (Integration / Match move / tracking)
  실사 촬영본에 3D 요소를 올리려면 정확한 공간이 도출되어야 한다. 따라서 2D로 촬영된 원본을 3D 공간으로 재해석하는 과정을 업계에선 매치무브라 칭하며 최근에는 인티그레이션 파트로 부르기도 한다. 평면 화면에서 시차를 이용해 거리를 파악하고 그 거리 정보를 토대로 3D 공간으로 만드는데, 요즘 트랜드인 핸드헬드기법[8] 으로 촬영되는 경우 카메라 자체의 모션블러가 생기는 경우가 많아 매치 무브의 난이도가 상승하기도 한다. 보통 이런 매치 무브를 위해서 일면 '트레커'라는 것을 설치하고 촬영한다.
  
  아이언맨 2의 vfx 제작 영상을 참고하자
  트레커란 영상 처럼 몸이나 배경에 검정과 흰색이 교차되는 일종의 스티커인데 , 색지나 도화지, 심지어 급할땐 현장에서 검정테이프와 A4용지로도 만들 수 있다. 트레킹의 기본원리가 Luminance값, 즉 음영의 차이를 추적하는 기술이기 때문에 이런 것. 만약 현장에서 귀찮다며 이 과정을 간과한다면 cg작업자의 작업량은 수십배가 늘어날 뿐더러 무브매치의 퀄리티도 떨어지게 된다. 보통 상업 영화에선 Vfx 슈퍼바이져가 현장에 붙어서 이걸 설치하지만 영세한 현장 혹은 이런 개념이 없는 스태프랑 일할 땐 대놓고 씹힌다. 그러니 영상제작자나 단편 찍는 예비 영화감독, 스태프가 있다면 제발 좀 붙히고 나서 CG작업자에게 주자. CG는 촬영의 보조이지 마법사가 아니다!
  
  대표적인 프로그램은 PFtrack이나 Boujou, 3D Equalizer 등이 있다.

• 3D 모델링 (Modeling)
  3D 프로그램을 이용해 필요한 요소를 입체로 구현하는 과정이다. 클라이언트가 구상한 화면을 위해선 매우 잡다한 사물부터 디지털 캐릭터나 크리쳐를 현실감있게 구현하는 스킬이 요구된다. 특히 사람의 주름이나 크리쳐의 울퉁불퉁한 외모 등을 구현하기 위해 미술적 기법인 스컬핑을 구현하는 프로그램이 대세를 이루고 있다. 모델링이 완성되면 사진등의 소스를 이용해 모델링의 표면을 실사느낌이 나도록 텍스쳐를 입힌다.
  
  기본적으로 오토데스크의 마야를 사용하며, 경우에 따라선 3ds MAX나 Cinema 4D, 스컬핑을 위해선 Zbrush나 Mudbox같은 다양한 3D 툴을 사용한다. 텍스쳐 제작을 위해선 포토샵도 사용된다.

• 라이팅 / 렌더링 (Lighting / Rendering)
  텍스쳐와 애니메이션이 적용된 모델링을 실사의 환경에 적합하도록 조명효과를 적용하고, 각종 셰이더를 적용해 실제와 가까운 질감을 구현하며 최종적으로 평면상의 결과물로 렌더링하는 과정이다.
  
  실사와 이질감이 느껴지지 않도록 컬러와 명암에 대한 감각이 중요하다. 셰이더는 텍스쳐에 질감이 느껴지도록 컬러를 변화시키는 과정인데, 금속이나 나무, 피부, 반사 등 다양한 요소를 고려해 수많은 셰이더를 하나의 텍스쳐에 적용하기도 한다.
  
  이런 과정을 거친 결과물을 수십~수백장 이미지로 구현하는 과정을 렌더링이라 칭하며, 특성상 가장 시간소모가 크고, CPU 연산이 크게 요구된다. 따라서 PC 수준으로는 이런 작업량이 감당이 안되므로 보통 CPU 여러개를 묶어놓은 전용 렌더링 머신을 네트워크로 연결해 수십~수백대 돌리는데 이런 장비를 렌더팜(Render Farm)이라 칭한다. 어느정도 규모가 있는 시각효과 업체는 매우 거대한 서버실을 가지고 있고, 그 안에는 빽빽하게 들어찬 렌더팜 수백대를 볼 수 있다.
  
  렌더링이 끝나도 경우에 따라선 이유를 알 수 없는 오류나 충돌이 발생해 원하던 결과물이 안나오거나 중간에 아예 렌더가 깨지거나 심하면 렌더가 걸리지 않는 경우도 있어서 이런 프로세스 관리에 제법 시간소모가 큰 편이다.
  
  주로 마야의 플러그인로 제공되는 렌더러 소프트웨어를 사용하며, 셰이더는 각 렌더러에서 제공하는 셰이더 제작 툴을 사용한다.
  
  렌더링에서 굉장히 중요한 역할을 하는 직무가 TD(Technical Director, 라곤 하지만 감독은 아닌 Technical Lead 포지션정도 된다) 이다.
  보통 렌더링을 거는 당사자들은 컴퓨터와 관련된 기술은 모르는 경우가 많아, 애로사항이 많다. 이들이 제대로된 작업을 할수 있도록 전산 시스템을 만들거나 업무에 문제가 없도록 해결하는 역할을 한다. 보통 미대 출신의 아티스트 포지션의 사람들 보다는 공학을 전공하는 사람들이 하게 되는 포지션이다.

• FX (effects)
  3D 요소가 주변 환경과 상호작용이 필요할 때 요구되는 다양한 특수효과를 디지털로 구현하는 과정이다. 예를 들면 화염이나 연기, 안개, 비, 눈같은 환경요소부터 먼지나 파편 등 파티클 요소, 충돌이나 붕괴같은 물리적인 요소로 발생하는 3D 요소의 변화 등 매우 다양한 분야의 특수효과가 요구된다. 따라서 이런 복잡한 계산을 상황에 맞게 구현할 수 있는 프로그램적 지식이 요구된다.
  
  작업의 난이도는 천차만별인데, 너무나 다양한 형태의 비주얼들이 등장하기때문에 매번 새로운 도전을 해야하게 되는 포지션이다.
  한번 템플릿을 잘 만들어두면, 같은 작업을 할때는 양산화 과정처럼 빨리 이루어지는 편이다.
  
  이와 같은 효과를 만드는데 사용하는 프로그램 중 물 효과로는 Next Limit Technologies사의 RealFlow가 꽉 잡고 있으며[9] . 물론 요즘은 3ds max의 fume fx 나 마야의 플루이드 라는 플러그인이 나와 개인용 캄퓨터에서도 손쉽게 사용되니 유튜브 강좌를 이용해보는 것도 나쁘지 않다. 다만 렌더링 시간과 사양 요구 사양은 어마어마하니 준비를 빵빵하게 해야한다.
  
  여기까지가 한국에서 시도되어온 FX분야였지만 국내에서도 점점 CG의 퀄리티를 올리면서 플러그인등에 의존하는 모습 보다는 Houdini라는 툴을 주로 쓰려는 분위기이다. 3d툴이라는게 조금씩은 다르지만 하나의 툴에 정통하게 되면 "웬만한 다른 툴들은 헷갈리는 정도"이기에 두루두루 사용가능 하지만, 이녀석은 어떤 파트로 이용을 하더라도 적응하기 힘들다. 다만 이녀석이 요즘들어 주목받고 있는 이유는 툴 특유의 자유도에 있다. 제작사에서 정해준 방식 외에 작업은 할 수 없는 플러그인류의 개념과 달리, 후디니는 사용자가 좀더 디테일한 운영을 할수 있다. (국내에서는 해외를 따라서 바꾸는 감도 좀 있고...)
  
  Houdini는 레고블럭처럼 상당한 자유도를 제공하는 프로그램으로 명령 노드를 붙여나가며 데이터를 생성하거나 조작하여 결과물을 만든다.
  어찌보면 프로그램의 함수와 비슷하며 실제로도 프로그래밍을 하는것과 유사하게 느껴진다.
  
  작업 난이도가 시각효과를 통틀어서 가장 높은 분야이고, 실제 상황에서 이질감이 느껴지지 않도록 정교한 시뮬레이션이 요구되므로 물리에 대한 이해가 높아야 한다. 거기에 영상으로 구현해야 하므로 미적인 감각도 같이 요구된다. 스킬이 뛰어난 FX 아티스트는 시각효과 분야에서 가장 높은 수준의 대우를 받는게 보통이다.

4. VFX 업체

4.1. 영국

• MPC
• Dneg
• Framestore
• Cinesite

4.2. 캐나다

• Scanline VFX
• Sony Pictures Imageworks
• Image Engine
• Rodeo FX

4.3. 미국

• ILM
• Luma Pictures
• Rhythm and Hues Studios
• Zoic Studio
• Digital Domain
• 블러 스튜디오
• Legacy Effects

4.4. 호주

• Rising Sun Pictures
• Animal Logic

4.5. 독일

• Pixomondo
• Rise Visual Effects Studio
• Trixter

4.6. 뉴질랜드

• 웨타 디지털 - weta FX

4.7. 대한민국

• 덱스터 스튜디오 - 김용화가 설립한 신과 함께를 담당한 VFX 업체. 비교적 늦게 출발했지만 압도적인 점유율을 보이고 있다.
• 바른손 디지털 아이디어
• 모팩 스튜디오
• 포스 크리에이티브 파티(4th Creative Party)
• M83 스튜디오
• 웨스트월드
• 257스튜디오
• 비브스튜디오스
• D4CUS
• 인스터
• 위지윅스튜디오
• 폴리모프 스튜디오

4.8. 일본

• 시로구미

5. 관련 문서

• 실제 촬영

6. 외부 링크