학과소식학생프로젝트

학생프로젝트


YOLO와 OCR을 활용한 시각장애우 유통기한 알림 챗봇(김*수)

조회 560

소프트웨어학과 2021-08-03 10:30

YOLO와 OCR을 활용한 시각장애우 유통기한 알림 챗봇(김*수)

내용

추진 배경

-시각 장애우 수 급증 추세

-점자를 통한 정보 전달의 한계점

-시각 장애우는 식품 정보 획득에 있어서 소비자 보호 사각지대에 놓여 있음

목표 및 내용

이번 프로젝트에서 개발하고자 하는 YOLO 및 OCR 알고리즘에 기반한 유통기한 자동 알림 챗봇 기술은 현재까지 개발되어 있지 않은 최첨단 기술로서 시각 장애우들의 삶의 질 향상에 크게 이바지할 수 있을 것으로 예상한다. 추후 프로젝트를 통해 개발하는 연구 결과들을 토대로 국제학술 논문, 특허 발표, 기술이전 등의 연구 성과를 토대로 관련 산업 및 학계에 이바지하는 것을 목표로 한다.

수행결과

  • 1. 제품을 카메라에 돌려가며 비추면 바코드를 자동으로 인식하여 제품의 이름을 TTS를 통하여 사용자에게 알려준다.

    2. 같은 방식으로 제품을 비추면 유통기한을 자동으로 인식하여 이미지를 서버로 보내게 되면 이미지를 전처리 하고 OCR을 이용하여 텍스트화 시킨다 텍스트화 한 문자를 TTS를 통해서 사용자에게 알려준다.

    3. 제품명과 유통기한을 데이터베이스에 저장하여 유통기한이 3일 남았을 때 TTS를 이용하여 시각장애우에게 유통기한이 얼마 남지 않았다는 음성을 사용자에게 알려준다.