소프트웨어학과

구분

내용

추진 배경

□ VR은 몰입형 가상공간 체험을 제공하지만 표정 추적 기능이 제한되어 있어 현실감이 부족함.
□ 고가의 페이셜 트래킹 장비는 교육기관이나 특수시설에 보급하기 어려워 접근성이 낮음.
□ 일본 등에서는 VR을 사회 적응 훈련에 활용하고 있으나 표정 인식이 미비해 효과에 한계가 있음.
□ 이를 해결하기 위해 저비용 외부 부착형 장치를 개발하고자 프로젝트를 기획함.

목표 및 내용

□ 기존 VR 기기에 부착 가능한 외장 카메라 모듈과 인게임 연동 가능한 소프트웨어를 개발함.
□ 카메라 3대를 사용해 눈과 입 움직임을 감지하고 이를 가상 캐릭터에 실시간 반영함.
□ OpenCV와 Mediapipe를 활용해 안면 움직임을 감지하고 감지된 정보를 가공하여 VRCFT를 통해 VR 콘텐츠로 전송함.
□ UDP 포트를 활용해 실시간 데이터 송수신을 구현함.
□ 감지된 표정은 bool 타입과 float 범위 수치로 나누어 표현하며 칼만 필터와 스무딩 기법을 통해 인식 안정성을 확보함.
□ 플러그앤플레이 방식과 실시간 VR 연동을 통해 사용자의 몰입감과 사용 편의성을 동시에 고려함.

• 수행결과

□ VR 콘텐츠에서 실제로 표정 인식 결과가 반영되는 것을 확인함.
□ 다만 하드웨어적으로 일부 사용자에게 카메라 위치 간섭이 발생함.
□ 소프트웨어적으로 앵커 안정성과 출력 속도에서 일부 불안정성이 남아 있음.
□ 기업 피드백을 반영해 카메라 모듈 축소, 렌즈부 프레임 재설계, GPU 활용 최적화 등을 후속 과제로 설정함.