소프트웨어학과

구분

내용

추진 배경

□ 비대면 환경 확대와 함께 제스처 기반 인터페이스에 대한 수요가 증가하고 있음.
□ 게임, 교육, 디지털 전시 등에서 직관적이고 자연스러운 상호작용 방식의 필요성이 커지고 있음.
□ 기존의 제스처 기반 콘텐츠는 Unity, Unreal 등 고비용·고난이도 엔진 중심이라 진입 장벽이 높음.
□ 웹만으로 접근 가능한 실시간 제스처 인식 기반 상호작용 기술의 필요성이 증가함.

목표 및 내용

□ 사용자의 손 제스처를 실시간으로 인식해 3D 캐릭터의 동작으로 매핑하는 프로그램을 구현함.
□ MediaPipe Hands로 제스처를 인식하고 Three.js를 활용하여 웹에서 3D 모델 애니메이션을 출력함.
□ 제스처 필터 선택, 제스처-모션 매핑 설정, 전체화면 실행 등의 기능을 갖춘 사용자 친화적 UI를 개발함.
□ 사용자는 원하는 동작 매핑을 직접 설정할 수 있으며 실시간 반응성과 직관성이 강화된 형태로 구현됨.
□ 설치 없이 브라우저 환경에서 동작하도록 설계되어 접근성과 활용성이 높음.

• 수행결과

□ Fist, Hi, Victory 3종 제스처를 95% 이상의 성공률로 인식하는 기능을 구현함.
□ 3D 캐릭터 3종(Man, Woman, Child)과 Idle, Dance, Clap 등의 애니메이션을 연동함.
□ fadeIn/fadeOut 기법을 활용해 애니메이션 전환이 부드럽게 이루어지도록 설계함.
□ UI를 통해 실시간 매핑 상태를 확인하고 매핑 취소 및 변경이 가능하도록 구현함.
□ “실행” 버튼 클릭 시 전체화면으로 몰입형 애니메이션 환경을 제공함.
□ 기업체 피드백을 반영해 성능과 UI 완성도를 높였음.