시적극장 2020
“Deep Neural Network(심층신경망)의 개념이 극장이란 공간에 투영된다면 소리에 대한, 또는 음악적 풍경에 대하여 새로운 측면으로 바라볼 수 있지 않을까?”
- 2016년 11월 시적극장 제작노트 중
시적극장의 초기 제작 단계에서 제기한 ‘극장 공간’에 대한 첫 번째 질문이 <시적극장(2018)>을 통해 발현되었다면, 두 번째는 신경망 구조(딥러닝 알고리즘)를 극장 공간에 음악/사운드적으로 활용 가능한지에 대한 질문이었고 이를 이번 <시적극장 2020>에서 이를 구현하였다.
기존 작품과의 가장 큰 차이점은 바로 ‘스스로 생각할 수 있는 극장’이 된 것이다.
<시적극장(2018)>에서는 무대 세트에 가상의 오브젝트를 배열하고 시간대 별로 다른 소리가 나게 하는 모든 구성을 직접 확인해가면서 분류하고 배치하였다. 이에 따라 작품 제작의 상당 부분이 소스를 확인하는 절차에 소요되는 한계점이 존재하였다.
![]()
그러나 <시적극장 2020>은 철저히 기계가 스스로 분석하고 선택한 소리들로 구성되어 있다. 만약 발생하는 소리 중 원하지 않는 소리들이 나온다면 그 것은 앞으로 생각하는 기계에게 학습시켜 개선해 나갈 수 있다.
“Deep Neural Network(심층신경망)의 개념이 극장이란 공간에 투영된다면 소리에 대한, 또는 음악적 풍경에 대하여 새로운 측면으로 바라볼 수 있지 않을까?”
- 2016년 11월 시적극장 제작노트 중
시적극장의 초기 제작 단계에서 제기한 ‘극장 공간’에 대한 첫 번째 질문이 <시적극장(2018)>을 통해 발현되었다면, 두 번째는 신경망 구조(딥러닝 알고리즘)를 극장 공간에 음악/사운드적으로 활용 가능한지에 대한 질문이었고 이를 이번 <시적극장 2020>에서 이를 구현하였다.
기존 작품과의 가장 큰 차이점은 바로 ‘스스로 생각할 수 있는 극장’이 된 것이다.
<시적극장(2018)>에서는 무대 세트에 가상의 오브젝트를 배열하고 시간대 별로 다른 소리가 나게 하는 모든 구성을 직접 확인해가면서 분류하고 배치하였다. 이에 따라 작품 제작의 상당 부분이 소스를 확인하는 절차에 소요되는 한계점이 존재하였다.
그러나 <시적극장 2020>은 철저히 기계가 스스로 분석하고 선택한 소리들로 구성되어 있다. 만약 발생하는 소리 중 원하지 않는 소리들이 나온다면 그 것은 앞으로 생각하는 기계에게 학습시켜 개선해 나갈 수 있다.
뉴로스케이프(NEUROSCAPE V2) 웹페이지 접속본 시적극장 2020에서 핵심 기술로 사용되는 것은 ‘뉴로스케이프’ 시스템이다. 뉴로스케이프는 2017년 박승순과 이종필(알고리즘 개발자)이 개발한 인공지능 사운드스케이프 시스템으로, 도시나 자연의 이미지에 어울리는 소리를 자동으로 생성 및 매핑하는 방식으로 구성된다. 이미지 분석 중심에서 V2에서는 이미지, 텍스트, 영상 등 다양한 인풋 데이터를 전달 가능하다.
(가칭)NeuroTheaterSystem(NTS)는 뉴로스케이프 웹에 실시간으로 접속하여 창작 단계에서 청각장면 구성을 위한 시퀀스를 이미지, 텍스트, 영상 등을 배열하여 입력하면, 자동으로 시퀀스에 따라 사운드스케이프를 구현하는 방식으로 구성되며, 조명 시스템과의 시리얼 커뮤니케이션 또한 가능하다.
앞으로 NTS는 음향 장면이 필요한 모든 곳에서 응용 가능한 기술로 활용될 수 있을 것이다. 만약 어떠한 연극 작품 개발 과정에서, 대본에 있는 주요 장면들의 단어나 레퍼런스 풍경 이미지, 영상 등을 입력하면 NTS에 의해 자동으로 사운드 디자인이 완성될 수 있다. 다만 이 결과물은 굉장히 거칠기 때문에 디자이너의 손길이 필요할 것이다. 하지만 오퍼레이팅의 역할은 모두 기계가 스스로 가능하다.