소프트웨어학과

구분

내용

추진 배경

□ 기존 STT 시스템은 성인 음성 중심으로 학습되어 아동의 발음을 정확히 인식하지 못함.

□ 이로 인해 디지털 학습 격차가 발생하고 아동 대상 AI 콘텐츠의 품질 저하 문제가 대두됨.

□ 아동 발화 특성에 최적화된 STT와 몰입형 학습 콘텐츠의 결합이 요구됨.

목표 및 내용

□ Whisper 모델을 한국어 아동 음성 데이터셋으로 파인튜닝하여 STT 성능 향상함.

□ 파인튜닝된 STT를 기반으로 실시간 음성 인식 → GPT 대화 → 캐릭터 응답 → TTS 출력 흐름 구현함.

□ PyQt5 기반 UI를 통해 아동이 말하면 캐릭터가 대화형으로 응답하는 상호작용 독서 시스템 개발함.

• 수행결과

□ 파인튜닝 결과 WER 45% → 25%, CER 21% → 11%로 오류율 절반 이하로 감소함.

□ 실시간 상호작용 시스템에서 아동 발화를 비교적 정확하게 인식하고 자연스럽게 응답 가능함.

□ GPT 프롬프트 튜닝 및 감정 TTS 적용 계획 등 실사용 품질 향상을 위한 개선도 병행함.