학과소식학생프로젝트

학생프로젝트


시각장애인을 위한 식사 보조 시스템(이*호)

조회 393

소프트웨어학과 2021-08-03 10:39

시각장애인을 위한 식사 보조 시스템(이*호)

내용

추진 배경

‘촘촘히 채워진 반찬이 무엇인지도 모르고 그냥 집히는 대로 입에 넣었고 입속에서야 비로소 정체를 알 수 있었다.’(2017.11.29. 에이블뉴스 ‘시각장애인이 식사할 때 어려움을 아시나요?’) 라 표현을 하듯 자신이 먹는 음식이 무엇인지도 모르고 식사를 한다는 건 상당한 불쾌감을 받을 수 있다. 해당 문제점을 해결하기 위해 본 시스템을 제안하였다.

목표 및 내용

본 프로젝트는 시각장애인들이 식사를 할 때 보조인 등 추가적인 도움 없이 카메라를 통해 들어오는 이미지를 Object Detection기술과 TTS기술을 사용하여 자신이 먹을려는 음식에 대한 정보를 사전에 알려주는 시스템을 개발하고자 한다.

수행결과

  • 구현 결과 테스트 환경인 Samsung Galaxy Note 5의 기기에서 올바르게 작동하였다. 학습클래스는 쌀밥, 숟가락 총 두 개의 클래스를 학습시켰고 이미지를 통해 테스트한 결과 두 가지 객체 모두 올바르게 감지하였고 일정 부분 겹쳤을 경우 TTS 기능 또한 올바르게 작동하였다. 비록 제한된 클래스에서 학습된 모델이지만 본 프로젝트에서 제안하는 시스템의 프로토 타입을 올바르게 구현했다고 볼 수 있다.