소프트웨어학과

구분

내용

추진 배경

얼굴과 음성 사이에는 강한 연관성이 있으며, 나이, 성별, 입 모양, 안면 뼈 구조, 입술 등 모두 사람이 생성하는 소리에 영향을 미칠 수 있음. 이를 통해 사람의 얼굴 생김새에 따라 음성이 어떻게 변화가 되는지, 본 연구를 통해 추론해보고자 함. 또한, 본 연구의 활용 방안으로 역사적 인물에 시스템을 적용하여 그 인물의 일대기를 본인의 목소리로 풀어 나갈 수 있는 음성 예측⋅생성 시스템을 개발해보고자 함.

예) 유관순 열사의 만세운동 및 독립운동가의 독립운동 연설 등

목표 및 내용

현재 활발히 연구가 진행 중인 음성을 통한 얼굴 예측 시스템의 구조를 반대로 적용.

VGGFace, Voxceleb Dataset을 이용하며, 음성 데이터를 VGG-like한 구조를 가진 7-layerCNN을 이용해 4096-D 벡터로 변환 후, 얼굴 이미지를 본 모델에 넣었을 때 VGGFace로 4096-D 벡터를 구한 뒤 미리 변환해 둔 음성의 4096-D 벡터가 출력되도록 함.

수행결과

• 학습된 Face2Speech(본 프로젝트의 결과물) 모델은 특정 인물의 이미지를 입력 값으로 넣으면 해당 인물의 음성을 예측, 출력하게 됨. Face2Speech 모델을 이용하여 음성 데이터가 존재하지 않는 역사 인물의 이미지를 통해 그 인물의 목소리를 예측해내고, 나아가 목소리를 통해 인물의 역사적 일대기를 들려주는 역사 콘텐츠 시스템 개발을 최종 목표로 하고 있음.