소프트웨어학과

구분

내용

추진 배경

시각장애인이 학원이나 시설을 방문하지 않고 혼자 춤을 배우기 위해서는 음성으로 설명하는 것이 중요하다. 그러나 춤 동작을 텍스트화 하는 과정에서 많은 시간과 인력이 소모된다. 따라서 춤 동작을 텍스트로 변환할 수 있는 더 효율적인 방법이 필요하다.

목표 및 내용

- 춤 동작 랜드마크 좌표 감지

- 춤 동작 랜드마크 좌표 이동 및 각도 분석

- 분석한 랜드마크 좌표 동작 정의

- 춤 동작 텍스트 출력

• 수행결과

• Mediapipe pose 모델과 Mediapipe hands 모델을 활용하여 몸 33개, 손 21개 좌표 추출

  프레임별 팔 방향, 팔 상태, 손 상태 판별 및 FLASK를 통한 텍스트 시각화

  프레임 제거 및 순차적으로 중복되는 텍스트 제거