사운드를 조각하는 혁신적 인터랙티브 음악 신디사이저, SoundSculpt

몰입형 오디오-비주얼 경험으로 창작의 경계를 재정의하다

SoundSculpt는 Yiqi Zhao가 MIT 미디어랩에서 개발한 프로젝트로, 촉각적 조각의 개념을 음악과 시각 예술에 접목했다. 사용자는 Bose AR Frame을 착용하고 머리의 움직임이나 버튼 조작을 통해 가상 공간 속 버블의 표면을 조형하듯 소리를 만들어낸다. 이 과정에서 공간 오디오와 실시간 시각 효과가 결합되어, 사용자는 마치 손끝으로 점토를 빚듯 음악과 이미지를 조형하는 몰입형 경험을 누릴 수 있다.

이 시스템의 핵심은 Bose Frames의 자이로 센서가 6자유도(6 DoF)로 사용자의 머리 움직임을 감지하고, 이를 MIDI 프레임워크를 통해 실시간 오디오 변조로 전환하는 기술이다. Unity 엔진과 C# 스크립트로 개발된 인터페이스는 터치 입력과 메쉬 변형, 버텍스 조작을 통해 가상 버블의 표면을 동적으로 변화시킨다. 이러한 기술적 융합은 창작 과정의 직관성과 감정적 몰입을 극대화한다.

SoundSculpt의 가장 큰 차별점은 음악, 움직임, 시각 예술이 한데 어우러진 새로운 창작 방식을 제시한다는 점이다. 사용자는 ‘듣기’, ‘조각하기’, ‘예술 생성’의 순환적 상호작용을 통해 자신의 감정과 창의성을 자유롭게 표현할 수 있다. 실제 사용자 테스트 결과, 참가자들은 공간감과 소리, 움직임에 대한 인식이 향상되었으며, 감정 안정에도 긍정적인 효과를 경험했다는 연구 결과가 있다. 이러한 특성은 예술 치료 등 정신 건강 분야로의 확장 가능성을 시사한다.

기술적 도전도 만만치 않았다. 오디오-비주얼 피드백을 실시간으로 자연스럽게 동기화하는 과정, 센서 정확도와 데이터 처리 한계 극복, 그리고 인간의 감정과 역사적 예술 개념을 현대 기술과 조화시키는 창의적 접근이 필요했다. 반복적인 테스트와 최첨단 XR 기술의 도입을 통해, SoundSculpt는 유연하고 감동적인 상호작용을 실현했다.

SoundSculpt는 2025년 A' Design Award 디지털 아트 부문 Iron 상을 수상하며, 실용성과 혁신성을 동시에 인정받았다. 이 작품은 예술과 기술이 만나는 지점에서 창작의 새로운 미래를 제시하며, 감각적 몰입과 정서적 치유의 가능성을 넓히고 있다.