소프트웨어학과

구분

내용

추진 배경

- 정보화 시대의 흐름에 따라 많은 은행, 식당 주문, 기차/버스 예매 등 많은 서비스들이 디지털화되어 가고 있음

- 고령층은 이와 같은 사회의 흐름에 따라가지 못하여 디지털화 된 서비스를 제대로
이용하지 못하는 경우가 많음, 교육을 시행하고 있으나 효과 미미
- 실시간 이미지 분석을 이용해 디지털 서비스의 UI를 인식하여 원하는 서비스를 이용할 수 있도록 도와 키오스크를 사용하는데 어려움을 겪는 사람들이 애플리케이션의 도움을 받아키오스크를 사용해보고, 키오스크에 친숙해지도록 하는 서비스가 필요하다고 생각함

목표 및 내용

사용하고 싶은 서비스를 고르고, 해당 키오스크에서 모든 단계(구매)가 종료될때까지 필요한 키워드를 음성인식을 통해 수집하여 해당 키워드를 통해 모든 단계에서 yolo를 이용하여 키오스크 화면에서 필요한 요소들을 detect하여 단계를 마칠 수 있도록 유도

• 수행결과

•       

  안드로이드 스튜디오 내장 STT라이브러리(google speech)와 kkma분석기를 이용하여 키오스크의 모든 단계가 끝날때까지 필요한 데이터를 추출하는 코드를 작성하였고, 그를 이용하여 학습된 yolov5 lite모델을 이용하여 detect한 object들을 현재 키오스크 이용 단계에서 필요한 UI만 바운딩박스를 그리게 할 수 있었습니다.

  이 애플리케이션이 디지털 약자를 위한 키오스크 사용 교육을 보조 혹은 대체할 수 있을 것으로 보입니다.