학위논문 Theses and Dissertations


NO.NO.M.2021.08_06

1950 ~ 70년대 실험 음악을 이용한 인터랙티브 사운드 시각화 작품 연구 基于20世纪50年代到70年代实验音乐的声音可视化交互式作品研究 Research on Sound Visualization Interactive Works Based on Experimental Music from the 1950s to the 1970s

  • Name : 위원지에 (俞文捷)/YU WENJIE
  • Info : 석사학위논문/硕士学位论文/Master's thesis/ 2021.08
  • Adviser : 이동훈/李东勋/Lee, Dong-hun
192.168.95.172

초록

청각적 요소와 시각적 요소의 관계에 대한 탐구는 오랜 역사를 가지고 있다. 시청각적 지각은 인간이 외부 세계를 지각하는 두 가지 중요한 방법으로, 서로 독립적으로 존재하지만 서로 영향을 미친다. 사운드 시각화 디자인은 디지털 미디어 기술의 지속적인 개발로 인해 생겨난 새로운 통합 분야이다. 사운드 시각화는 시각과 청각을 동시에 연결하여 다단계 공감각을 유발하여 사람들에게 신체적, 심리적 다차원적 경험을 제공한다. 본 연구는 실험 음악을 매개체로 사용하여 청각 및 시각 전환의 방법과 기술을 탐구하고 이를 본인의 작품으로 표현하였다.
사운드 시각화 기술은 소리를 분석 및 이해하고 시각적 프레젠테이션을 제공할 수 있는 기술이다. 이를 바탕으로 양방향 기술을 사용하여 청중의 감각 인식을 확장하며 작품 자체의 구조와 형태를 변경하여 시청각을 결합한 다중 감각 경험을 관객들에게 제공한다. 또한 관객이 사운드아트를 경험할 수 있는 더 넓은 상상력을 제공한다. 예술 작품의 내용과 감정에 대한 사람들의 이해를 심화시키고 다양한 뉴미디어 환경을 플랫폼으로 활용한 인터랙티브 사운드 시각화 작품은 경험의 형태로 더 많은 가능성과 흥미를 제공하고 관객의 참여감을 강조한다.
이 연구는 1950년대부터 70년대까지 실험적인 음악을 기반으로 하며 20년 동안 진행된 발아, 성장, 정체의 과정을 논의하고 그 특성을 분석했다. 불과 20년 전이지만 전통을 뒤집고 규칙에 도전한 많은 작품과 아이디어가 남아있다. 실험 음악과 전통 음악의 가장 큰 차이점은 "음성이 스스로 말하게 하라"는 것이다. 이러한 작품과 아이디어는 항상 현대 음악 창작에 영향을 미쳤으며, 의미가 없는 실험 음악의 순수한 특징은 그 음악이 담고 있는 메시지의 밀도가 상대적으로 적지만 그것은 청중의 개인적인 이해와 미적 경험을 확장시킨다.
본 연구자의 작업은 ‘Touchdesigner’라는 소프트웨어를 기반으로 한다. 실험 음악의 시각화 작품은 인류가 맞닥트린 환경파괴의 심각성을 경고하는 역할을 수행한다. 또한 실험적인 음악의 관점에서 음향 비주얼 작업에 대한 새로운 창의적인 아이디어가 활성화되는데 기여할 수 있기를 바래본다.
본 연구는 먼저 소리 시각화의 물리적, 심리적 측면에서 소리 시각화의 원리를 탐구하면서 연구의 초점을 물리적인, 객관적인 사운드 시각화 및 주관적인 디지털 사운드 시각화의 실현에 두었다. 또한 인터랙티브 사운드 시각화 작품의 실제 제작을 통해 사람들의 시각적 감각을 만족시키는 기반으로 소리와 시각 요소의 연결에 대한 사람들의 공명을 유발하여 사람들의 현실적이고 미적인 요구에 맞는 디자인 방법을 얻고자 하였다.

摘要

对听觉要素和视觉要素关系的探索有着悠久的历史。视听的知觉是人类知觉外部世界的两种重要方法,虽然彼此独立存在,但相互影响。声音可视化设计是数字媒体技术的持续开发而产生的新的整合领域。声音视觉化同时连接视觉和听觉,引发多层次共鸣,为人们提供身体和心理多维体验。本研究以实验音乐为媒介,探索听觉及视觉转换的方法和技术,并将其以本人的作品体现。
声音视觉化技术是可以分析声音、理解声音、提供视觉陈述的技术。在此基础上使用双向技术,扩大听众的感觉认识,改变作品本身的结构和形态,向观众提供结合视听的多重感觉体验。另外,还提供给观众体验声艺术的更广阔的想象力。加深人们对艺术作品的内容和感情的理解,将多种新媒体环境利用为平台的互动声音视觉化作品以经验的形式提供更多的可能性和兴趣,强调观众的参与感。
该研究以20世纪50年代到70年代的实验性音乐为基础,探讨了20年来进行的发芽、成长、停滞的过程,并分析了其特性。虽然只是20年前,但还有很多推翻传统、挑战规则的作品和创意。 实验音乐和传统音乐的最大区别是"让声音自己说话"。这些作品和创意对现代音乐创作产生影响,无意义的实验音乐纯粹的特征是该音乐所蕴含的信息密度虽然相对较小,但它可以扩大听众的个人理解和审美体验。
本研究者的工作以"Touchdesigner"软件为基础。实验音乐的视觉化作品起到警示人类面临的环境破坏的严重性的作用。另外,从实验性音乐的角度出发,希望对音响视觉工作的新创意能够起到积极作用。
本研究首先从声音视觉化的物理、心理层面探索声音视觉化的原理,并把研究的重点放在物理的、客观的声音视觉化及主观数字声音视觉化的实现上。另外,通过互动声音视觉化的作品实际制作,以满足人们的视觉感觉为基础,诱发人们对声音和视觉要素的连接的共鸣,从而获得符合人们现实、审美要求的设计方法。

Abstract

The exploration of the relationship between sound and visual elements has a long history. Audiovisual perception is two important ways for humans to perceive the external world. The two exist independently of each other but influence each other. The sound visualization design is a new field of integration that has been spawned by the continuous development of digital media technology. Sound visualization connects vision and hearing at the same time to trigger multi-level synesthesia, giving people a multi-dimensional physical and psychological experience. This research uses experimental music as a carrier to explore the ways and techniques of hearing and visual conversion, and finally apply it to my own works.
Sound visualization technology is a technology that can analyze and understand sounds and provide visual presentations. On this basis, the use of interactive technology to expand the audience's sensory perception, change the structure and form of the work itself, to bring people a multi-sensory experience combining audiovisual. It also provides a broader imagination for people to experience sound art. Deepen people's understanding of the content and emotions of art works. Using a diverse new media environment as a platform, interactive sound visualization works provide more possibilities and interest in the form of experience, and emphasize the audience's feelings of participation.
The research is based on experimental music from the 1950s to the 70s. The process of germination, development and stagnation in the 20 years during this period was discussed, and its characteristics were analyzed. Although only 20 years ago, many works and ideas that subverted traditions and challenged the rules were left behind. "Let the voice speak for itself" is the biggest difference between experimental music and traditional music. These works and ideas have always influenced modern music creation. Combining the pure features of experimental music that does not carry any meaning can better increase the intention of transmitting information on the basis of experimental music. But it does not interfere too much with the audience's personal understanding and aesthetic experience. My work is made based on touchdesigner software. Through the visualization of experimental music, the information that the natural environment is badly destroyed and environmental protection is imminent is conveyed to people, so as to achieve the role of warning. It is hoped that new creative ideas for sound visualization works can be reinvigorated from the perspective of experimental music.
This article first discusses the principle of sound visualization from the physical and psychological aspects. The focus is on the realization of physical objective sound visualization and subjective digital sound visualization. Finally, through the actual production of interactive sound visualization works, on the basis of satisfying people's visual senses, people's resonance for the connection of sound and visual elements is triggered, so as to obtain a design method that meets people's realistic and aesthetic needs. It is hoped that it will help sound visual works to develop in a more diversified and innovative direction.

키워드

  • #사운드 시각화
  • # 실험음악
  • # 터치디자이너
  • # 인터랙티브 디자인
  • # 뉴미디어 아트

  • #诗歌电影,王家卫,情绪诗学, 安德烈塔可夫斯基,Step Printing

  • #Sound visualization
  • # Experimental music
  • # Touchdesigner
  • # Interactive design
  • # New Media Art

참고문헌

[Book]

1.이성태, 『소리의 원리와 응용』, 청문각출판사, 2003
2. John Cage, Silence, Wesleyan University Press, 1961
3. 钱钟书,『旧文四篇』,上海古籍出版社,1979
Digital Fun, 『TouchDesigner 全新交互设计及开发平台』, 人民日报出版社, 2020梁明,李力 『电影色彩学(영화색채학)』, 北京大学出版社, 2008
4. NingNing Zhu, Anglo-Ameraican Experimental Music 1950s-1970s; Exploration beyond the Boundary of the Art Music Tradition, Doctor of Music, Shanghai Conservatory of Music, 2011
5. YiNan Zhang, The Revolution of Sound Art Caused by Digital Audio Technology, Master of Arts, Nanjing University of the Arts, 2015
6. YaoWen Hu, Research on Feature Extraction and Classification of Audio Signal, Master of Engineering, Kunming University Of Science And Technology, 2018
7. YuMeng Li, Research on the Design Expression Method of Interactive Sound Visualization, Master of Arts, Dalian University of Technology, 2019
8. Mo Liu, Music Visualization in Digital Media Technology, Master of Arts, China Academy of Art, 2017
9. BaiMing Xu, Research and Exploration on Cymatics in Sound Visualization, Master of Arts, China Academy of Art, 2018
10. 김원희, 「실시간 사운드에 반응하는 인터페이스 표현연구 : 본인작품 '마리오네트의 오케스트라 대소동'을 중심으로」,이화여자대학교 대학원 석사학위논문, 2007
11.위첸, 「소음 공해를 부각시키는 실시간 이미지 변형 시각화」, 중앙대학교 첨단영상대학원 석사학위논문 , 2019
12.유호근, 「FFT변환, 음높이, LPC계수 및 LPC Cepstrum을 이용한 음정 분석」, 건국대학교 산업대학원 석사학위논문, 1997
13. 김철,「존 케이지와 우연성음악에 관한 연구」, 동아대학교 교육대학원 석사학위논문, 1998
14. 이민희, 「디지털 미니멀 음악의양상과 미학 연구:세계의 끝, 그리고새로운 세계의 시작점에 선 음악」, 서울대학교 대학원 음악박사학위논문, 2021
15. 신원실, 「1945년 이후의 실험음악 : 우연성 음악을 중심으로」, 동덕여자대학교 대학원 석사학위논문, 1990
16. 김연형, 「오디오-비주얼 시스템을 활용한 전자음악 퍼포먼스 연구:디지털 예술을 중심으로」, 연세대학교 커뮤니케이션대학원 석사학위논문, 2016
17. 이미영, 「오감의시각화연구: 불안감을중심으로」, 홍익대학교 대학원 석사학위논문, 2016
18. 현성숙, 「미술치료의오감탐색: 색채중심으로」, 한양대학교 대학원 석사학위논문, 2014
19. 김희정, 「청각과 시각의 교차감각 매핑에 의한 인터랙티브 사운드 시각화 연구」, 홍익대학교 영상대학원 석사학위논문, 2018
20. 형성운, 「소리의 시각화를 통한 본인의 작품 연구」,영남대학교대학원 석사학위논문, 2018

[Dissertation]

1. NingNing Zhu, Chinese contemporary experimental music creation practice originated from the accidental music tradition, Journal of Music Art, Vol.3, 2016, p.138-147
2. NingNing Zhu, What is experimental music? ——The definition, historical origin and environment of experimental music, Journal of Music Art, Vol.2, 2012, p.24
3. YanZhou Xia, American music geeks-John Cage and his works, Jiao Xiang-Journal of Xi an Conservatory of Music, Vol.3, 1996, p.66
4. JunPing Wang, The Research Progress and Application Examples of Music Visualization, Journal of Music Instrument Technology & Art, Vol.5, 2018, p.11
5. 김경희, "사운드아트에 나타난 소음의 미학”, 『헤세연구』, 2012, p.275

[Website]


[video]

1. 위키백과, “소리”
2. 바이두백과, “디지털 오디오”
3. 위키백과, “펄스 부호 변조”
4. 위키백과, “Nyquist–Shannon sampling theorem”
5. 위키백과, “샘플링 레이트”
6. 바이두백과, “비트 깊이”
7. Zhihu, “디지털 오디오의 기초”, https://zhuanlan.zhihu.com/p/212318683
8. CSDN, “시간 영역 및 주파수 영역 변환”, https://blog.csdn.net/Robin_Pi/article/details/109204672
9. 바이두백과, “공감각”
10. 위키백과, “대뇌 피질”
11. 유튜브, “Cymatics:Science VS Music”, www.youtube.com/watch?app=desktop&v=Q3oItpVa9fs
12. 바이두백과, “비주얼 프로그래밍”
13. Synarcade, “The Lumiphonic Creature Choir”, www.synarcade.com.au
14. Zhihu, “Ikeda Ryuji's Glitch Mapping” , https://zhuanlan.zhihu.com/p/98572027
15. Lo2s, “No1se”, https://www.lo2s.net/art
16. Derivative, “TouchDesigner”, https://derivative.ca/
17. 위키백과, “Audio Filter CHOP”, https://docs.derivative.ca/Audio_Filter_CHOP
18. 위키백과, “제곱평균제곱근”
19. 위키백과, “끓는 물 속의 개구리”
20. ultraleap, “Leap Motion Controller”, https://www.ultraleap.com/