월간 국립극장

미리보기
넷

국립국악관현악단 <부재^不在>

예술과 기술의 만남

인간과 로봇의 지휘 대결이 벌어진다.
6월 30일 국립극장 해오름극장에서 열리는 국립국악관현악단 관현악시리즈Ⅳ <부재^不在>다.

국립국악관현악단원 70여 명이 한국과 몽골의 창작 관현악을 연주하는 레퍼토리는 여느 연주회와 크게 다르지 않다. 하지만 이날 연주회의 결정적 차이점이 있다. 바로 로봇 지휘자다.
이날 전반부에는 한국생산기술연구원에서 제작한 인간형 로봇 ‘에버^EveR’가 지휘자로 등장할 예정이다. 이날 에버는 몽골 작곡가 비얌바수렌 샤라브(1952~2019)의 ‘깨어난 초원’과 만다흐발레그 비르바의 ‘말발굽 소리’ 두 곡을 지휘한다. 에버는 2006년 탄생한 인간형 로봇으로 전시장 안내, 동화 구연 등 다양한 역할을 맡았다. 에버는 최초의 여성인 ‘이브^Eve’와 로봇의 머리글자인 ‘R’을 합성한 이름이다. 2009년 국립극장에서 에버는 판소리를 공부하는 학생으로 등장해서 왕기석 명창에게 소리를 배우기도 했다. 하지만 실제 무대에서 에버가 지휘하는 건 이번이 처음이다. 이동욱 한국생산기술연구원 수석연구원은 “이번에도 박자 같은 기본 정보를 입력한 뒤 인간 지휘자의 다양한 동작을 모션 캡처(몸에 센서를 달아 인체 움직임을 디지털로 옮기는 작업)를 통해서 구현할 것”이라고 말했다.
‘인간 대표’로는 최수열 부산시립교향악단 예술감독이 출전한다. 이날 후반에 가야금 명인 황병기(1936~2018)의 ‘침향무’와 작곡가 김성국의 ‘영원한 왕국’을 지휘할 예정이다.
최 감독은 2010~2011년 독일 현대음악 전문 단체인 앙상블 모데른의 아카데미에 참여했고, 2014~2017년 서울시립교향악단 부지휘자 시절에도 작곡가 진은숙의 현대음악 시리즈 ‘아르스 노바’에 참여하는 등 현대음악에 대한 각별한 애정으로 이름 높다. 지난 2014년부터 국립국악관현악단과도 꾸준하게 호흡을 맞추고 있다. 2016년에는 ‘영원한 왕국’을 직접 초연한 인연이 있다. 그는 “클래식 작품은 악보를 읽으면 실제 소리와 작품 흐름을 어느 정도 예상할 수 있지만, 국악관현악은 처음에 오선보를 읽어도 구체적인 음향이 떠오르질 않아서 단단히 애를 먹었다.”라고 고백했다. 앞으로 예술 분야에서도 로봇은 인간을 대체할 수 있을까. 2016년 구글 딥마인드의 인공지능 프로그램인 알파고와 이세돌 9단의 바둑 대결 이후 부쩍 관심이 높아진 주제다. 하지만 적어도 지휘 분야에서는 아직 대체 가능성이 높지 않다는 것이 이 연구원과 최 감독의 공통된 평가다. 최 감독은 “정확한 박자 계산은 로봇이 유리할지 모르지만, 순간적으로 템포를 밀고 당기는 루바토^Rubato나 단원들과의 시선 교환, 풍부한 감정 표현에서는 인간을 능가하기 쉽지 않을 것”이라고 했다. 스트라빈스키의 ‘봄의 제전’처럼 불규칙한 리듬감이 두드러진 현대음악이나 밀고 당기는 루바토가 필수적인 낭만주의 작품에서도 로봇은 의외로 고전할 가능성이 높다는 이야기다. 최 감독은 “지휘는 음악에 맞춰서 지휘봉을 흔드는 게 아니라 음악을 이끄는 일” 이라며 “앞으로 50~100년 뒤에도 인간 지휘자는 사라지지 않을 것”이라고 자신 있게 말했다.

한국생산기술연구원 수석연구원 이동욱
예술감독이자 <부재>의 지휘자 최수열

이 연구원 역시 “인공지능이나 로봇은 인간을 돕는 존재이지 대신하는 존재가 아니다”라고 말했다. 지휘 분야에서는 로봇이 인간의 지휘 동작을 모션 캡처 방식으로 전수받아서 구현하는 수준이라는 설명이다. 컴퓨터그래픽CG 기술을 통해서 인간 배우의 동작을 스크린에 구현하는 <반지의 제왕> 같은 할리우드 블록버스터 영화에 가깝다는 뜻으로 들렸다. 이 연구원은 “금속성 관절의 유연성과 동작 속도를 향상하기 위해 필요한 동력을 제공하는 모터의 내구성을 높이는 것이 향후 과제”라고 말했다. 장기적으로는 인간의 언어를 인식한 뒤 적절한 동작으로 표현하는 연구 계획도 추진하고 있다.
이번 무대에서 인간과 로봇 지휘자는 대결뿐 아니라 ‘협업’도 한다. 작곡가 손일훈의 신작인 ‘감感’을 에버와 최 감독이 한 무대에서 함께 지휘하기로 한 것이다. 이번 신작은 작곡가의 ‘음악적 유희 시리즈’ 가운데 하나다. 제목처럼 음악의 모든 요소를 정해진 시나리오처럼 미리 확정하는 것이 아니라 매 공연 새로운 결과물이 탄생하도록 우연성을 도입한 작품 연작이다. 2014년 두 피아니스트가 말이나 행동 없이 오로지 악기의 소리로만 의사소통하면서 ‘스무고개’ 놀이를 벌이는 작품 ‘스무고개’를 시작으로 2016년 ‘패자의 역설’, 2018년 ‘리듬 폭탄’ 등으로 이어지고 있다. 작곡가는 “음악과 게임을 정교하게 접목해 무대 위를 경기장으로 바꿔버리는 작품들”이라고 설명했다.
이번 ‘감’ 역시 일정한 박자와 쉼표로 구성되어 있지만, 정작 연주하는 음정은 단원들이 내림 마E flat 음에서 출발해서 자유롭게 이동할 수 있도록 했다. 규칙과 자율, 우연과 제약이 공존하는 작품인 셈이다. 최 감독은 “규칙적인 박자는 에버가 맡지만, 즉흥성이나 구체적인 뉘앙스는 제가 맡게 될 것”이라고 말했다. 그 말을 듣고 있으니 예술 분야에서 어떤 방식으로든 로봇과 인간이 공존하는 날이 머지않았다는 생각이 들었다.

<부재>의 지휘를 맡은 에버

국립국악관현악단 <2021 리컴포즈>, 지휘 최수열

글. 김성현 조선일보 문화전문기자

국립국악관현악단 <부재> 부록

예술과 기술의 만남. 감성과 이성의 양 끝에 있는 두 개념 사이에서 일어나는 화학적 반응에 대한 전망을 누가 할 수 있을까? 지극히 감성적이고 창의적인 활동이라 여기던 예술 분야에서 작곡가 혹은 화가로 존재를 드러내는 로봇을 보면서 문득 우리 중 누구도 그 방향에 대한 확고한 답을 내리지 못할 것이라는 예감이 들었다. 그렇다면 무엇이든 답을 준다는 인공지능 챗봇에게 물어보면 어떨까. 기대와 우려를 안고 챗GPT와 대화를 시작해 보았다.

예술 분야에서 로봇의 대체와 같은 이유로 가장 먼저 사라지는 직업은 무엇일까?

예술 분야에서 로봇이 대체할 수 있는 직업은 다양하지만, 가장 먼저 사라질 직업으로는 물리적인 노동과 기계적인 작업이 중요한 작업들이 있습니다. 예를 들어, 일러스트레이션 분야에서는 로봇이 역할을 완전히 대체하기는 어려울 것입니다. 하지만 이미지를 디지털화하거나 편집하는 작업 등이 있습니다.
반면, 조각 분야에서는 로봇이 전체적인 제작 과정을 대체할 수 있습니다. 3D 프린팅과 같은 기술을 활용하여 로봇이 조각물을 만들어내는 것이 가능하기 때문입니다. 따라서 예술 분야에서 로봇이 대체할 수 있는 직업은 물리적인 노동이나 기계적인 작업이 필요한 작업들일 것입니다.

그럼, 음악에서 로봇이 대체할 수 있는 분야는 무엇일까?

음악에서 로봇이 대체할 수 있는 분야는 상대적으로 제한적입니다. 음악은 예술적 창작과 인간적인 감정을 표현하는 것이 중요한 분야이기 때문입니다. 하지만 일부 분야에서 로봇이 대체 가능한 부분이 있습니다. 예를 들어, 악기 제작 분야에서는 로봇이 목재를 가공하거나 기계적인 부분을 담당할 수 있습니다. 3D 프린터나 CNC 기계를 이용하여 악기 부품을 제작하거나, 악기의 기계적인 부분을 자동으로 조정할 수 있는 시스템을 개발하는 등의 분야에서 로봇 기술이 활용될 수 있습니다. 또한, 작곡과 음악 프로덕션 분야에서도 로봇이 사용될 수 있습니다. 예를 들어, AI 알고리즘을 이용하여 음악 조각을 만들어내는 프로그램을 개발하는 것이 가능합니다. 이러한 프로그램은 음악 프로덕션 분야에서 대규모 음악 제작에 사용될 수 있습니다.
마지막으로, 음악 교육 분야에서도 로봇이 활용될 수 있습니다. 예를 들어, 드럼 연습용으로 제작된 로봇이 리듬에 맞춰 연습을 도와주는 등의 분야에서 활용될 수 있습니다. 하지만 음악이라는 예술 분야에서 로봇이 인간의 창작성과 감정을 완전히 대체하는 것은 아직 불가능합니다. 따라서 인간과 로봇이 함께 협업하여 새로운 음악 작품을 만들어내는 방식이 더욱 가능성 있는 방향일 수 있습니다.

한국생산기술원에서 개발한 로봇 지휘자 에버와 인간 지휘자 최수열이 함께하는 국립국악관현악단의 <부재> 공연을 앞두고, 로봇 지휘자의 현재와 비전에 대해 이야기해 보았다.

로봇이 오케스트라 음악을 지휘할 수 있을까?

로봇이 오케스트라 음악을 지휘할 수 있는지 여부는 현재의 기술 수준에서는 어렵습니다. 오케스트라 음악은 다양한 악기가 함께 연주되는 고도로 복잡하고 예술적인 활동입니다.
지휘자는 오케스트라의 모든 악기에 대한 이해와 지식을 갖추고, 실시간으로 연주자들의 표현을 지켜보며 조정할 수 있는 능력이 필요합니다. 이는 현재의 기술 수준에서 로봇이 가지고 있는 능력과는 거리가 멀다고 볼 수 있습니다.
또한, 오케스트라 음악은 예술적인 요소가 매우 중요한데, 이러한 예술적인 요소는 인간의 직관, 감정, 경험 등에 기반하여 결정됩니다. 이러한 예술적인 요소를 기계가 감지하고 이해하고 적용하는 것은 아직은 도전적인 과제입니다.
하지만 인공지능 기술의 발전과 함께 로봇이 오케스트라 음악을 지휘하는 것이 가능해질 수도 있습니다. 현재로서는 인간 지휘자와 로봇의 협업에 초점을 맞춘 연구들이 진행되고 있으며, 이러한 협업 방식으로 앞으로 음악 분야에서 로봇의 역할이 더욱 확대될 가능성이 있습니다.

세계에서 로봇 지휘자가 공연한 사례를 모두 찾아줄 수 있어?

저는 인터넷 검색을 통해 정보를 제공하고 있기 때문에, 세계적으로 모든 로봇 지휘자 공연에 대한 정보를 가지고 있지는 않습니다. 하지만 2018년과 2020년에 로봇 지휘자가 공연한 사례는 알고 있습니다. 추가적인 정보를 알려주시면 최대한 검색하여 답변드리겠습니다.

모든 답을 알고 있으리란 기대가 틀어졌다. 세상 모든 지식을 검색하고 습득할 수 있는 건 아니었다는 걸 깨닫고 기간을 대폭 줄여 다시 제안한 대로 2018년부터 2020년까지 3년간의 사례를 부탁하자 ‘일본의 Alter2 로봇 지휘자(2018)’ ‘영국의 인공지능 장갑, MiMU Gloves(2019)’ ‘이탈리아의 로봇 지휘자 YuMi(2020)(기사 검색으로는 2017년 스위스의 휴머노이드 로봇이 있었으며 이 로봇은 국내에서도 테너 보첼리와 함께 무대에 오른 로봇 지휘자로 알려진 바 있다.)’ 등 4개의 사례와 그 시기 로봇 지휘자가 보유했던 기술에 대해 간략히 설명해 주었다.

2018년과 2020년의 로봇 지휘자는 어떤 기술을 가진 로봇이었어?

2018년에 공개된 ‘YuMi’는 스위스의 ABB 로봇에서 개발한 산업용 로봇으로, 양손을 사용하여 작은 부품 조립 등의 작업에 사용되는 로봇입니다. ‘YuMi’는 두 개의 로봇 팔을 가지고 있으며, 손목과 손가락을 가동할 수 있으며, 인간과 유사한 움직임을 보이며, 0.02mm의 정확도를 가진다고 합니다.
2020년 대만에서 사용된 ‘Ke-ju’는 대만의 공학연구소인 ‘Institute for Information Industry’에서 개발한 로봇 지휘자입니다. ‘Ke-ju’는 인공지능과 음악 빅데이터 기술을 사용하여 연주를 지휘합니다. 이 로봇은 손을 가지고 있지 않지만 얼굴 표정, 눈 움직임, 머리 움직임 등을 이용하여 지휘자처럼 동작합니다. 또한, 인공지능 기술을 사용하여 연주의 템포와 감정을 파악하고, 연주자들과 연주하는 과정에서 실시간으로 대화할 수 있습니다.

하지만 2020년 대만의 로봇 지휘자에 대한 정보는 확인되지 않았다. 인간의 검색 능력이 AI의 검색 능력에 미치지 못해 발견하지 못한 것인지, 인지 능력 차이로 잘못된 정보를 필터 없이 수용한 것인지는 알기 어려웠다.

이외에 로봇 지휘자에 대한 연구와 기술 개발 사례가 더 있을까?

네, 로봇 지휘자에 대한 연구와 기술 개발 사례는 매우 다양합니다. 예를 들어, 일부 연구자들은 악기 연주에 특화된 로봇을 개발하고 있습니다. 이러한 로봇은 악기를 연주하는 데 필요한 손가락의 움직임과 압력을 감지하여 연주를 모방할 수 있습니다. 또한, 로봇 지휘자를 활용하여 지능형 음악 교육 시스템을 개발하거나, 실시간으로 음악 연주를 분석하여 자동으로 악보를 생성하는 기술을 연구하는 등 다양한 분야에서 로봇 지휘자에 대한 연구와 기술 개발이 이루어지고 있습니다.

인공지능 챗봇에 따르면 로봇 지휘에 관한 연구는 2008년부터 드러나기 시작했고, 꾸준히 다양한 방향으로 개발이 이뤄지고 있었다. 2018년부터 2020년 사이에도 눈에 띄는 가시적 성과가 다수 존재했으며 그간 다양한 분야에서 서로의 경계를 허물고 있다. 앞으로 국내외 기술협업은 더욱 빈번히 이뤄질 것이고, 예술과 기술 합작품은 우리를 더 놀라게 할 것이다.
6월 30일, 국립국악관현악단 <부재>가 그 놀라움의 단초가 되길 기대해 본다. 더불어 인간형 로봇 지휘자 에버와 인간 지휘자 최수열이 함께 이뤄낼 성과를 챗봇이 학습하고, 누군가의 질문에 언급해 주길 상상하며 대화를 마쳤다. 아직은 미흡한 부분이 많지만, 언젠가 더 유의미한 대화를 나눌 수 있길 기대해 본다.