깊이보기하나

공연예술 속 미디어아트
가상적 현실에 대한 다양한 결
각종 감각과 관련된 미디어 기술이 발달한 지금, 코로나가 그 발달 상황에 우리의 온몸을 밀어넣었고, 우리는 가상현실과 물리 현실이 본격적으로 접촉하고 확장되는 경계면을 경험하고 그 파도에 몸을 적셨다.

포스트 코로나. 코로나19의 해결 이후 새롭게 다가오는 시대와 상황을 이르는 이 말이 어느새 손에 닿을 듯 다가와 있다. 전례를 찾기 힘들 정도로 세상을 물리적으로 단절시키고 우리 활동을 제한했던 이 질병은 우리가 디지털 세계·가상현실·네트워크에 발을 걸치고 향하던 느긋한 발걸음을 등 떠밀어 질주의 속도로 바꾸었다. 우리의 많은 활동이 네트워크 연결에 기반한 디지털 환경에서 진행됐다. 이러한 일상의 전환 국면은 때로는 ‘이게 되네?’ 하는 반신반의를, 때로는 ‘그래도 역시…’와 같은 불편이나 그 반대의 편안함과 같은 다양한 경험과 반응을 선사했다. 공연계 역시 이러한 상황에 대한 필수 불가결한 대응으로, 디지털 세계와 접촉할 가능성 타진을 위한 다양한 활동을 진행해 왔다.
이렇게 우리에게 몰아친 디지털적 전환, 가상화의 물결은 문화예술계 전반에 특정한 풍경 몇 가지를 낳았다. 익숙해진 기술 용어이자 현상을 꼽아보자면 프로젝션 매핑(Projection Mapping), 미디어파사드(Media Facade), 이머시브 스페이스(Immersive Space)와 더불어 가상현실(VR, Virtual Reality), 혼합현실(MR, Mixed Reality)과 같은 것이 될 것이다. 전자는 표현 기법이자 기술이고, 후자는 기술로 구성된 새로운 사건 또는 공간 인식과 관련한 용어이다. 이들은 물리 세계와 대비되는 가상의, 디지털로 구성되어 제시되는 세상과 그 접촉면으로 창작자와 관람자와의 접점과 관계, 작품과 그를 둘러싼 공간과의 연계 구도를 흥미롭게 바꾸고 있다. 이번 글의 중심에 있는 공연 역시 예술작품·예술가·무대·관객이라는 요소를 가지며 발화자와 관객 간의 관계, 그리고 이들을 둘러싼 공간과의 관계가 중요하기에 이러한 기술 환경에 큰 영향을 받았다.

평창 동계올림픽 개막식의 프로젝션 매핑 공연 장면 ⓒ유튜브 채널 닷밀(.mill) 영상 캡처

우선 가상의 세계나 현실에 대해 접점을 만든 것은 역시나 우리에게 익숙한 스크린이다. 다만 이전의 경험과 다른 결의 스크린이 펼쳐졌다. 바로 사각 프레임 안의 스크린이 아닌, 주변 공간이자 환경으로서의 스크린이다. 공연의 경우 그 무대 또는 공간의 변화와 맞닿기에 그만큼 중요한 변환점을 맞이했다고 할 수 있다. 이러한 변화는 미디어파사드·프로젝션 매핑·이머시브 스페이스 혹은 몰입형 공간과 같은 단어로 익숙하다. 2018년 평창 동계올림픽 개막식에서 행사장 바닥을 화려하고 입체적으로 수놓아 변화시켰던 오프닝 세리머니의 공간과 지난해 삼성동 코엑스의 SM Town 코엑스 아티움 외벽에서 펼쳐진 거대한 파도의 향연, 그리고 제주 성산에 위치한 빛의 벙커 실내를 가득 채운 영상의 공간을 알거나 기억하는 사람이 많을 것이다. 동계올림픽 개막식이 펼쳐친 스타디움 바닥을 역동적이고 입체적으로 바꾸어낸 기법은 프로젝션 매핑, 코엑스 쪽 빌딩의 벽면을 입체적 파도 공간으로 펼쳐낸 것이 미디어파사드, 그리고 실내의 앞뒤·좌우와 바닥이 스크린이 되어 마치 공간이 변모하는 것 같은 체험을 만들어내는 것이 몰입형 공간이다. 모두 시각적 경험을 극대화해 평면이 아닌 공간적 체감을 이끌어내는 기법과 기술이다.
이들의 공통점은 스크린을 벗어난 새로운 스크린이라는 점이다. 이 스크린은 사각 프레임을 벗어나 신체 사이즈를 넘어선 다양한 형태와 크기로 다가왔다. 공연은 이러한 스크린을 다른 구성 요소와 상호 반응할 새로운 무대 환경으로 적극 이용하고 있다. 즉 공연은 이 새로운 스크린을 무대의 배경이자 공연자와 직간접적으로 상호작용하며 극의 메시지와 총체적 경험을 증강시킬 수 있는 유동적 공간으로 수용했다. 관람자에게 전달되는 그 현장은 이전의 경험을 ‘보고 듣는다’를 넘어서 ‘체험한다’에 가까울 정도로 시청각을 넘어선 촉지각적 경험으로 다가온다.

<원형하는 몸: round1>, 2021 ⓒ허대찬

이와 관련한 예시 중 2021년 국립극장 하늘극장에서 진행된 콜렉티브A(CollectiveA)의 <원형하는 몸: round1>은 프로젝션 매핑에 기반해 공간과 댄서가 함께 반응하며 통합적 장면을 조성하는 퍼포먼스이고, 혼합현실(MR, Mixed Reality)로서의 현장을 제시하는 시도이다. 여기에서 등장한 ‘프로젝션 매핑’은 영상 투사 기기인 프로젝터(projector)를 사용해 기존의 스크린인 사각 평면이 아니라 특정 공간이나 표면에 맞춰 제작한 영상을 투영하는 방식이다. 프로젝터는 공연장 바닥에 물을 연상케 하는 다양한 파형과 빛무리를 투사한다. 그 움직임은 주변의 음향과 맞물리며 이에 반응하는 댄서가 그 순환을 완성한다. 프로젝터가 투영하는 부채꼴 면의 움직임은 V자로 맞물려 수직으로 세워진 두 면의 거울에 의해 ‘원’으로 완성된다. 프로젝터가 바닥에 비추는 가상의 이미지 면과 거울의 물리적 표면이 맞물려 완성된 이 원은 극의 무대이자 댄서의 활동 영역이며 순환을 상기시키는 구형 세계로서 관객에게 제시된 혼합현실의 장인 것이다. 또한 실제 전시장의 공중에 설치된 얼음은 녹아내리며 바닥에 위치한 유리 볼에 정착하고, 여기에서 비치는 물그림자의 물결과 소리는 프로젝터의 파형 영상과 사운드로 연결되며 이에 댄서가 반응하거나 역으로 리드하는 모습을 통해 또 다른 순환적 세계로서 관객에게 제시된다.

<Whale Rock Project>, 2021 ⓒ허대찬

이러한 공간 증강(Augmented)의 시도는 최근 기술적 상황과 연계된 각종 정부지원사업과 기관의 기획을 통해 풍부하게 관객에게 닿고 있다. 한국문화예술진흥원의 융복합 예술 창작 지원사업인 아트 앤 테크(Art & Tech)를 통해 탄생한 심윤선 작가의 데이터 기반의 증강현실 공연 <Whale Rock Project>와 (주)모던한의 모션 트래킹(Motion Tracking) 및 연계 프로젝션 매핑 공연 <팬데믹, 나례>, 조은우 작가의 프로젝션 매핑과 뇌파 데이터를 연계한 <뇌파 인간 신세계> 등 흥미로운 사례가 지속적으로 제안되고 있다.
국립극장에서는 국립국악관현악단이 이러한 흐름과 연계된 활동을 진행하고 있다. ‘관현악시리즈’는 국립국악관현악단의 폭넓은 예술적 스펙트럼을 선보임과 동시에 확장 가능성 확보를 목적으로 오는 6월 15일, 4번째 시리즈 <황홀경>의 공개를 앞두고 있다. 이번 공연은 다른 영역과 연계를 시도해 주목을 끌고 있다. 미디어아트 분야에서 그만의 독자적 브랜드를 구축한 작가 이이남의 작품과 결합한 프로젝션 매핑 공간과 관현악을 연결하는 시도이다. 앞서 언급한 이미지와 영상을 투사해 공간을 증강한 환경에서 잔향을 조율하는 해오름극장의 건축 구조와 함께 어우러질 연주 장면과 음악을 기대하게 된다.

<Dream>의 리허설 장면 Photo by Stuart Martin ⓒRSC

또 다른 변화는 스크린을 통한 전개가 아닌 ‘접속’의 지점이다. 이전 사례가 실제의 공간에 무언가를 투사하거나 변화를 주어 중첩 증강된 체험을 가능케 한 방향이라면, 이제는 실제 공간을 떠나 완전한 가상공간을 구현하고 여기에 접속해 그곳에서 진행되는 공연을 관람하는 형태로 변화했다. 최근 이러한 가상공간에서 어떻게 접속하고 참여할지를 놓고 흥미로운 시도가 진행됐다. 영국 공연계의 전통을 대표하는 극단인 로열 셰익스피어 컴퍼니(RSC, Royal Shakespeare Company)와 가상과 현실의 경계를 탐구하는 작업을 진행 중인 창작 스튜디오 마시멜로 레이저피스트(MLF, Marshmallow Laser Feast)가 함께한 <Dream>이 그것이다. 1875년 창단한 영국 공연계의 거목, 전통의 RSC와 2011년 결성된 디지털 기반 창작을 진행해 온 MLF의 연계 자체가 많은 사람의 주목을 받았다. 그러한 이들의 결합이 탄생시킨 것이 바로 셰익스피어의 <한여름밤의 꿈>을 재해석한 가상현실 기반 온라인 공연인 <Dream>이었다.
이 공연이 가진 특별한 지점은 우선 배우들이 모션 캡쳐 슈트를 입고 가상현실(VR, Virtual Reality)을 경험하는 기계인 HMD(Head Mounted Display)를 착용한 채 연기를 진행했다는 지점이다. 가상현실 세계를 구성하는 효과적 소프트웨어인 게임엔진(Game Engine)을 통해 조성된 세계에 배우의 움직임이 모션 캡쳐 슈트를 통해 그대로 구현된다. 배우는 그가 머리에 착용한 HMD를 통해 그 가상의 세계와 새롭게 재구성된 자신의 몸을 감각하며 그에 대한 연기와 표현을 진행하게 된다. 배우는 실제 물리 세계인 스튜디오에서 연기를 펼치지만 동시에 그것은 VR 속에 구현된 숲 속 공간과 요정 캐릭터와 같은 시청각적 표현으로 재감각되는 순환 구조를 가진다. 이러한 배우의 활동은 인터넷으로 생중계됐으며 관객은 이에 접속해 실시간으로 그 사건을 시청했다.

가상현실을 체험할 수 있는 HMD를 착용한 채 게임을 즐기는 모습 ⓒ셔터스톡

이 공연에서 또 한 가지 흥미로운 시도는 관객이 공연에 직접 참여할 수 있는 상호작용 시스템이었다. 유료 관객에게는 배우가 연기하는 길 잃은 요정에게 일종의 길 안내를 할 수 있는 반딧불이를 던지고 조정할 수 있는 인터페이스가 제공됐다. 관객은 가상세계에서 세계와 배우가 어우러지는 장면을 바라보며 스스로 그 이야기에 개입하며 극을 경험했다. 메타버스, 디지털 트윈과 같은 가상세계와 물리 세계가 맞물리거나 중첩되는 기술이 주목받고, 연관 사례가 소개되는 가운데 이러한 시도는 기술과 맞물려 펼쳐지는 문화예술의 또 다른 가능성을 알리는 장면일 것이다.
이들 사례는 스크린 또는 무대의 수직과 수평의 평면을 벗어나 공간적 차원에서 펼쳐진 유희와 촉지각적 경험이 함께한 일종의 환영 공간을 자아내며, 심지어 개입의 여지를 제시하는 문화예술적 시도이다. 이들은 조명 및 이미지 투영 기기의 발전에 발맞춰 가시화됐다. 사용 장소에 대한 제약이 컸던 영상 투영 장치인 프로젝터는 밝기와 투사거리와 같은 기기의 기능이 발달하며 제한된 폐쇄 공간에서 공연장 같은 더 넓고 개방된 공간으로, 평면 직사각형이 아닌 입체 표면으로 활용 영역을 넓혔다. 그렇게 다층의 벽면이, 건축적 표면이 확장된 공간이자 몰입형 장소로 변모했다. 또는 안경처럼 신체에 직접적으로 시각 기계를 착용해 별도의 투영 없이 착용자 주변 공간 전체를 가상현실로 구현하는 한편 부속 컨트롤러를 이용해 직접 개입할 수 있는 장치가 제공된다. 이러한 기술 양상은 상상에 그쳤거나 한동안 답보 상태였던 가상과 현실의 연결을 구체화하고 이를 통해 무대의 확장과 배우와 공간, 배우와 관객 간의 관계에 대한 또 다른 장을 펼쳤다.
프로젝션 매핑과 미디어파사드, 몰입형 공간은 가상과 물리가 겹치고 교류하게 하며, 중첩되는 상황에 대한 공간 경험을 제공한다. 중첩의 현실은 가상현실이나 증강현실이라는 용어로 재차 상황을 강조하고 있다. 이들이 자아내는 환영적 경험은 우리의 감각을 마비시키기도, 동시에 환기시키기도 하며 세계의 변화와 확장을 알리고 있다. 게임과 대중음악 같은 상업 영역에서 미디어아트와 공연이라는 문화예술 영역에까지 정착한 양상을 바라보며 우리 스스로가 어떤 방향, 어떤 세계를 인식하고 수용하며, 나아가 다루어 활용할 수 있을지 즐겁게 기대해 본다.

글. 허대찬 예술학과 디자인학을 전공, 기술과 미디어 기반의 예술 및 디자인 등 문화예술 영역에 대한 연구와 기획 활동을 하고 있다. 기술과 미디어로 조성된 오늘날의 환경과 그 안에서의 현상 및 인간 활동에 관심을 두고 있으며 현재 미디어문화예술 채널 ‘앨리스온(aliceon.net)’ 의 편집장, 게임 연구 집단 더플레이 대표, 한국디자인사학회의 학술이사로 활동하고 있다.
<월간 국립극장> 구독신청 <월간 국립극장> 과월호 보기
닫기

월간지 '월간 국립극장' 뉴스레터 구독 신청

뉴스레터 구독은 홈페이지 회원 가입 시 신청 가능하며, 다양한 국립극장 소식을 함께 받아보실 수 있습니다.
또는 카카오톡 채널을 통해 편리하게 '월간 국립극장' 뉴스레터를 받아보세요.
※회원가입 시 이메일 수신 동의 필요 (기존회원인 경우 회원정보수정 > 고객서비스 > 메일링 수신 동의 선택)