소프트웨어학과

구분

내용

추진 배경

요즘 이슈가 되는 생성형 모델을 활용하여 누구나 간편하게 나만의 읽어주는 그림책을 만

들 수 있는 서비스를 제공하기 위해 시작하였음

목표 및 내용

생성형 모델과 Text-to-Image, Text-to-Speech 기술을 활용하여 읽어주는 그림 동화책 제공

1.GPT-3.5 API를 활용하여 사용자가 입력한 키워드로 시나리오를 작성

2.Translator 기능을 제공하여 영어로 번역 및 요약하여 Text-to-Image 모델인 dall-e를

사용하여 이미지를 생성

3.Text-to-Speech 모델을 사용하여 시나리오를 음성으로 합성

4.사용자는 웹서비스를 통해 생성된 이미지와 TTS로 만들어진 음성이 포함된 동영상을 시청 및 상호작용 가능

• 수행결과

• - Davinci 모델을 fine-tuning 하기 위해 데이터 셋으로 저작권 없는 동화책 대본 100편을 사용하였으나 추후에 데이터 셋을 늘려 개선할 예정

  - Dall-e 모델을 통해 나온 이미지 결과물들의 편차가 심하여 추후에 개선할 예정

  - 생성된 시나리오 대본을 활용하여 추후에 만들어진 동영상에 자막으로 추가할 계획

  - DB를 구현하여 기존 로컬 환경이 아닌 여러 사람들이 사용할 수 있게 웹 호스팅 예정

  - 기존에 사용하던 Google tts 말고 실감 나고 다양한 성우들의 음성을 지원해 주는 tts 서비스로 변경할 계획

  - 해당 모델을 활용하여 읽어주는 그림 동화책뿐만 아니라 소설 등 다양한 분야에 창작 활동 가능