동서대학교 동서대학교 디자인대학
홈 일반대학원 디자인학과 한국연구재단 사이트맵 검색
아카이브학위논문전체(All)

학위논문 Theses and Dissertations

NO.M.2018.08_08

음악 파형의 공감각적 시각화를 통한 키네틱 조명 작품연구 通过音乐波形共感视觉化的活动照明作品研究 A Study on Kinetic Light as Synesthesia Visualization by Music Waveform

  • Name : 정원웅ㅣJeong, Won Ung,
  • Info : 석사학위논문ㅣ硕士学位论文ㅣMaster's thesisㅣ2018.08
  • Adviser : 김세화ㅣ金世和ㅣKim, Se Hwa
192.168.95.161

초록

인간의 감각은 외부 자극을 통해 지각과 인지 과정을 통해 서로 상호보완적으로 발달된다. 오감 발달을 위한 공감각적 자극으로의 예술적 표현은 대중들의 관념적 경험에서 새로운 사고의 경험으로 안내한다. 특히 대중매체 음악은 공감각적 측면에서 청각에서 시각으로의 감각전이를 유도하는 다양한 예술적 접근이 발전되어 왔다. 이러한 배경 속에서 음악은 그동안 소리를 시각화하고자 했던 예술적 접근방향에서 음악의 이야기 서사구조성을 이해하고 음악이 본래 가지는 감성적 내러티브의 시각화로써 후속연구가 이루어져야하는 필요성을 드러낸다. 본 연구는 음악의 기초 구성요소 중 화음이 선율로써 전개되는 과정을 문학적 관점에서 이야기를 전개시키는 유사한 속성으로써 개념화하여 음악이 가지는 시간적 공간의 이야기의 형태가 실제 존재하는 공간에서 전개됨으로써 대중들이 공감각적으로 이야기를 경험할 수 있도록 작품연구 측면에서 시각화를 접근하였다.
본 작품연구를 위해 인간의 기본 감각에 관한 선행연구와 공감각적 시각화 개념을 선행사례를 통해 시각화를 위한 기초 구성요소로써 고찰하였다. 인간이 지닌 감각 중 가장 많은 의존도를 차지하는 시각은 시지각의 하위요소인 형태, 색, 움직임, 깊이의 4가지 요소를 통해 사물을 지각하고 게슈탈트 형태이론에 따라 인지과정에 서 심리적 요인에 영향을 받게 된다. 음악의 공감각적 시각화의 목적은 청각 자극의 경험을 더욱 풍부하게 구성하기 위한 목적으로 시각적 자극물로써 구체적인 이미지 구현이 아닌 추상적 이미지를 통해 공감각적 자극으로 청중의 상상력을 강하게 자극한다는 점에서 시각화의 주요 요소를 시지각의 하위 4가지 요소로 정의하였다. 또한 문학적으로 이야기 서사구조를 시각화한 선행연구를 바탕으로 음악을 공감각적으로 시각화하는 것의 대상 정의를 음악을 구성하는 기초요소 중 화음의 전개 방식에서 서사구조성을 접근하였다. 문학에서 이야기의 기승전결을 플롯의 형태로 연출하듯 음악에서는 선율의 어울림을 나타내는 화음의 전개 방식이 음악에서의 감정의 고조와 이완을 작용시키는 주된 요인임을 정의하고 하나의 음악에서 화음이 포함하는 음계의 양에 따른 내러티브 라인을 형태화하였다. 이를 바탕으로 키네틱아트의 움직임으로의 공간 예술적 표현특성을 통해 시간예술인 음악의 이야기 측면에서의 시간적 공간을 실제 공간으로 옮겨내기 위하여 작품연구 측면에서의 시각화 요소를 시지각의 하위요소 4가지를 바탕으로 도출한다.
본 작품연구의 시각화 개념을 실제 키네틱 조명 작품에 적용하기 위해 오픈프레임웍스를 사용하여 키네틱 조명 애니메이션 소프트웨어를 제작하였으며, 음악이 12개의 음계를 가지는 특징에 착안하여 총 12개의 키네틱 조명 하드웨어와 연동하여 작품을 구현하였다. 음악의 이야기 서사구조성의 특징을 드러낼 수 있도록 서로 다른 감정선을 가진 음악 4곡을 선정하여 총 11분가량의 청각과 시각의 교차 감각 자극이 이루어지는 공감각적 퍼포먼스 전시를 완성하였다.

摘要

人的感觉通过外部刺激、通过知觉和认知过程，相互补充发展。作为五感发达的共感刺激的艺术表现,引导大众从观念性体验到新思维的体验。特别是大众媒体音乐从共鸣角度引导从听觉到视觉的感觉转换，发展了多样的艺术形式。在这样的背景下，音乐从过去声音视觉化的艺术形式中，表现理解音乐的故事叙事结构性、作为音乐本身具有的感性的叙事和情节的视觉化，构成后续研究的必要性。本研究将音乐的基础构成要素中和声作为旋律展开的过程以文学观点展开故事的相似属性概念化，在音乐所具有的时间空间故事形态实际存在的空间展开，使大众能够产生共鸣地体验故事，从作品研究的角度实现视觉化。
为了本作品的研究，通过先行研究和共感视觉化概念作为视觉化的基础构成要素的事例，考察了为视觉化的基础构成要素。在人类所具有的感觉中，占据最多依赖度的视觉是视知觉的下位要素形态、颜色、移动、深度的4个要素来认识事物，根据格式塔形态理论,在认知过程中会受到心理因素的影响。音乐的共感觉视觉化的目的是为了丰富听觉刺激的体验,作为视觉刺激物,不是通过具体的形象体现，而是通过抽象的形象，通过共感觉刺激强烈地刺激听众的想象力,因此将视觉化的主要要素定义为视知觉的下位4个要素。另外,以从文学角度将故事叙事结构视觉化的先行研究为基础，将音乐视觉化的对象定义从构成音乐的基础要素中的和声的展开方式形成叙事结构性。就像文学中把故事的起承转合表现为情节形态一样，在音乐中体现旋律和谐的和声的展开方式定义为对音乐中感情的高潮和松弛作用的主要因素，并从一个音乐中包含和声的音阶数量使叙事情节形态化。以此为基础，通过活动艺术动的空间艺术表现特性，将时间艺术的音乐故事层面的时间空间转移到实际空间，以4个视知觉的下位要素为基础，得出作品研究方面的视觉化要素。
为了将本作品研究的视觉化概念应用于实际的活动的作品中，使用开放的空间架构制作活动照明动画软件，着眼于音乐具有12个音阶的特点，与12个活动照明硬件联动来实现作品。为了体现音乐的故事叙事结构性特征，选定了4首具有不同感情线的音乐，完成了共11分钟左右的由听觉和视觉的交叉感刺激形成的共感表演展示。

Abstract

Human sense develops complementarily through perception and cognitive processes through external stimuli. The artistic expression of sympathetic stimulation for the development of the five senses leads from the conceptual experience of the public to the new thought experience. Especially, mass media music has developed various artisticapproaches to induce sensory transition from auditory to visual in terms of sympathetic sense. In this context, music reveals the need to understand the narrative structure of music in the artistic approach to visualize sound and to pursue further research as avisualization of the emotional narrative that music originally has. This study conceptualizes the process of the development of the chords as melody among the basic components of music as a similar property that develops the story from the literary point of view. By developing the form of the story in the temporal space in whichmusic exists, In order to experience the story, I approached the visualization in terms ofthe study of the works.
For the study of this work, the precedent study on the basic sense of human and the concept of co - sensory visualization were examined as a basic component for visualization through the precedent case. The view that occupies the most dependency among the human senses is perceived through the four elements of shape, color, motion, and depth, which are sub-elements of visual perception, and influenced by psychological factors in the cognitive process according to the Gestalt type theory. The purpose of the visual sense of music is to visualize audiences as a visual stimuli, not as a concrete image but as a stimulus to the imagination of the audience through an abstract image, Were defined as the lower four components of visual perception. Also, based on the previous research that visualized narrative structure literally, the definition of narrative visualization of music was approached with the narrative structure in the development of chords in the basic elements composing music. As in the literature, in the form of aplot, the chord formation of the story is expressed in the form of a plot. In music, it isdefined that the chord development method of harmony of melody is the main factor that causes the emotion rise and relaxation in music. The narrative line according to quantity was formulated. In order to transfer the temporal space from the narrative aspect of the time artist to the real space through the characteristics of the space artisticexpression by the movement of the kinetic art based on this, the visualization element
from the aspect of the study of the works is based on the four sub elements.
In order to apply the visualization concept of the study of this work to the actual Kinetic lighting works, Kinetic lighting animation software was created using Open Frame Works, and the music was featured with 12 scales. Respectively. Music Story Four pieces of music with different emotional lines were selected to reveal the characteristics of the narrative structure, and a total sensory performance exhibition was realized in which a total of 11 minutes of auditory and visual cross sensory stimulation was performed.

키워드

  • # 공감각 # 음악 시각화 # 키네틱 아트

  • # 共感 # 音乐视觉化 # 活动艺术

  • # Synesthesia # Music Visualization # Kinetic Art

참고문헌

[Book]

1. Calvert, G., Spence, C., & Stein, B. E. (Eds.)., 『The handbook of multisensory processes』, MIT press, 2004
2. J. Ward, 『Synesthesia creativity and art: What is the link?』, 2008
3. Koffka, K., 『Principles of Gestalt Psychology.New York: Harcourt』, Brace, 1935
4. Philippa M., 『The form of emotive design』, Massachusetts Institute of Technology, 2014
5. Stuart Berg Flexner, 『The Random House Dictionary of the English Languag e』, Random House, 1987
6. 김정오, 곽호완, 박창호, 박권생, 정상철, 남종호, 도경수 공역, 『감각과 지각(제7 판)』. 시그마프레스, 2007
7. 마틴 린드스트롬, 최원식 역, 『세계 최고 브랜드에게 배우는 오감 브랜딩』, 랜 덤하우스 코리아, 2006
8. 문은배, 『색채디자인 교과서』, 안그라픽스, 2011
9. 박유미, 『음악심리학의 이해』, 음악춘추사, 2009
10. 신현남, 『음악이론, 교학사, 2014
11. 엄소연, 『음악을 그려낸 칸딘스키』, 미술 교과서 알아보기, 2008
12. 이성태, 『소리의 원리와 응용』, 청문각, 2011
13. 정영웅, 『디지털 콘텐츠와 문화정책』, 북코리아, p.125, 1999
14. 정찬섭 외 공역, 『감각과 지각』, 시그마프레스, 2000
15. 제이미 워드, 김성훈 옮김, 『소리가 보이는 사람들 - 뇌과학이 풀어낸 공감각의 비밀』, 흐름출판, 2015
16. 존파웰, 장호연 옮김, 『과학으로 풀어보는 음악의 비밀』, 뮤진트리, 2012, p.44
17. 지상현, 『뇌, 아름다움을 말하다』, 해나무, p.120, 2005

[Dissertation]

1. A. T. Poffenberger, B. E. Barrows, 「The Feeling Value of Lines」, Journal of Applied Psychology, vol.8(2) p.187-205, 1924
2. Andrew J., Lewis M., Dilan K., Christopher M D. and Peter S. D., 「Theemotional arcs of stories are dominated by six basic shapes」, EPJ Data Science 5:31, 2016
3. Bryan G., Donald D., 「Aero-tactile integration in speech perception」, Naturevol. 462, p.502–504, 2009
4. Jens B., Robert A. B., 「Spatial Hearing: The Psychophysics of Human Sound Localization」, Cambridge, MA. The MIT Press, 1997
5. Liang., Xuan Z., William Y., 「Dynamic binaural sound source localization with interaural time difference cues: Artificial listeners」, The Journal of the Acoustical Society of America vol. 137, 2015
6. Livingstone, M. S., & Hubel, D. H., Psychophysical evidence for separate channels for the perception of form, color, movement, and depth. Journal of Neuroscience Vol.7, p.3416-3468, 1987
7. S. K. Card, 「The Model Human Processor: A Model for Making Engineering Calculations of Human Performance」, SAGE journals, 1981
8. Simner, J., Ward, J., Lanz, M., Jansari, A., Noonan, K., Glover, L., & Oakley, D. A. 「Non-random associations of graphemes to colours in synaesthetic and non-synaesthetic populations」. Cognitive neuropsychology Vol.22(8), p.1069-1085, 2005
9. Ward, J., Huckstep, B., & Tsakanikos, E.「 Sound-colour synaesthesia: To what extent does it use cross-modal mechanisms common to us all?」, Cortex Vol.42(2), p.264-280, 2006
10. Young, T.,The Bakerian lecture: On the theory of light and colours」,Philosophical transactions of the Royal Society of London, vol. 92 p.12-48, 1802
11. 강희라, 「소리신호에 반응하는 인터랙티브 미디어 아트 제작에 관한 연구:"옅은녹색"제작과 전시기획 사례를 중심으로」,국민대학교 ,석사학위논문, 2004
12. 고수진, 「음(Pitch)과 음정(Interval)에 따른 색청(Color-Hearing) 연구」, 한국디지털미디어학회, 2003
13. 김민희, 「게슈탈트 이론 적용을 통한 포스터디자인 표현 연구: 효율성을 중심으로」, 이화여자대학교, 석사학위논문, 2006
14. 김소라, 「유희적 공간창출을 위한 움직이는 조명등디자인 연구」, 홍익대학교, 석사학위논문, 2005
15. 김수정, 「타악 공연을 위한 소리 시각화 소프트웨어 디자인」, 한국HCI학회vol.2005 no.1, 2005
16. 김재연, 「공감각적 관점에서 유아의 색채 자극에 대한 연구」, 경원대학교, 석사학위논문, 201
17. 김정현, 「인터랙티브 키네틱 아트의 우연적 표현 연구 -해프닝을 통한 관객 참여를 중심으로-」, 이화여자대학교, 석사학위논문, 2003
18. 김희정, 「청각과 시각의 교차감각 매핑에 의한 인터랙티브 사운드 시각화 연구」, 홍익대학교, 석사학위논문, 2018
19. 류재하, 서현규, 「미청각과 시각의 상호작용을 통한 표현 방법 및 활용성 연구」, 한국영상학회 vol.7 no.3, 2009
20. 박숙자, 「빛의 음악성에 관한 연구:작품 “ 빛의 소리” 시리즈를 중심으로」, 홍익대학교, 석사학위논문, 2008
21. 서영인, 「음악의 공감각적 시각화 표현 연구 - 황병기 가야금곡 <미궁>의 시각화를 중심으로」, 이화여자대학교, 석사학위논문, 2004
22. 소재석, 「레이저 광선의 실시간 제어를 통한 음악 시각화 키네틱아트 기법에 관한 연구」, 홍익대학교, 석사학위논문, 2012
23. 오정화, 「KineticArt의 물리적 움직임 재분류 :미디어아트와 결부된 키네틱아트 중심으로」, 전북대학교, 석사학위논문, 2011
24. 임찬, 김완석, 「공감각 콘텐츠를 활용한 미디어 아트 디자인」, 디자인학연구통권 제 81호 Vol. 22 No.1, 2009
25. 정숙희, 「움직임을 통한 음악개념 지도방안 연구 - 초등학교 3학년을 중심으로」, 한국교원대학교 교육대학원, 석사학위논문, 2010
26. 최수환, 「음악정보추출 알고리듬을 활용한 사운드 시각화 연구」, 한국예술종합학교, 예술전문사학위논문, 2010
27. 황지영, 「음악의 시각화를 위한 악기음색과 색청의 공감각적 연구」, 동국대학교, 학술논문, 2004

[Website]

1. Guangzhou X Lighting Co., Ltd., ‘ Kinetic Light Product’ ,https://www.alibaba.com/product-detail/DMX-Stage-LED-Kinetic-Lifting-Ball_60674429314.html, 2018
2. hiroyuki, ‘ofxArtnet’ , https://github.com/hiroyuki/ofxArtnet, 2017
3. Kurt Vonnegut,‘ Shapes of Stories’ ,https://www.youtube.com/watch?v=oP3c1h8v2ZQ, 1943
4. leozimmerman, ‘ofxAudioAnalyzer’ ,https://github.com/leozimmerman/ofxAudioAnalyzer, 2017
5. Psychology Today, ‘Synesthesia’ ,https://www.psychologytoday.com/intl/basics/synesthesia, 2018
6. SeeChord, ‘Top 20 songs explained’ ,http://www.seechord.co.uk/top-20-songs-explained/, 2018
7. Stamen, ‘The shape of emotions’ ,https://hi.stamen.com/the-shapes-of-emotions-72c3851143e2, 2016
8. Steven Bradley, ‘Design Principles: Visual Perception And The Principles OfGestalt’,https://www.smashingmagazine.com/2014/03/design-principles-visual-perception-and-the-principles-of-gestalt/, 2014
9. Universitat pompeu fabra,‘ Essentia’ , http://essentia.upf.edu, 2018
10. Wayne Staab, ‘Localization: More Important Than Word Recognition?’, http://hearinghealthmatters.org/waynesworld/2015/localization-more-important-than-word-recognition/, 2015
11. Wikipedia, ‘DMX512’, https://en.wikipedia.org/wiki/DMX512, 2018
12. Wikipedia, ‘HPCP’, https://en.wikipedia.org/wiki/Harmonic_pitch_class_profiles,2018
13. Wikipedia, ‘Sine Wave’, https://en.wikipedia.org/wiki/Sine_wave, 2018
14. Wikipedia, ‘Sonochromatism’, https://en.wikipedia.org/wiki/Sonochromatism,2018
15. Wikipedia, ‘데이터 시각화’, https://ko.wikipedia.org/wiki/데이터시각화, 2018
16. Yale Symphony Orchestra, ‘Scriabin's Prometheus:Poem of Fire’ ,https://www.youtube.com/watch?v=V3B7uQ5K0IU, 2010
17. 두산백과, ‘가청주파수’, http://www.doopedia.co.kr, 2018
18. 브리태니커 비주얼사전, ‘귀의 구조’, https://terms.naver.com/entry.nhn?docId=1692775&cid=49045&categoryId=49045,2018
19. 정보통신기술용어해설, ‘가청주파수’, http://www.ktword.co.kr, 2018
20. 지제근, ‘감각,지각,인지’ ,http://www.doctorsnews.co.kr/news/articleView.html?idxno=20911, 2005
21. 표준국어대사전, http://stdweb2.korean.go.kr, 2018
22. 한국기타문예원 음악학연구소, ‘음악이란’, www.awadon.com, 2015

목록