소프트웨어학과

구분

내용

추진 배경

온택트 시대가 활성화되어 많은 앱들이 나온 가운데, 전시회와 같은 예술 분야에서는 활성화가 되어있지 않아서 추진하게 되었다.

목표 및 내용

전시회장 안에 있는 그림들 중, 관람객들이 특정 그림에 대해서 찾고 싶을 때, 그림에 해당하는 이미지를 입력하면 로봇이 신호를 받아서 찾아주는 것이 목표이다.

• 수행결과

• 예를 들어, 관람객이 “모자를 쓴 남성 그림을 찾아줘.”라고 입력했을 시, “모자, 남성, 그림” 명사를 추출한다. 그리고, 전시회장 안에 있는 그림을 CLIP와 BLIP 모델이 결합된 것으로 학습을 시켜 이미지 객체 명사를 추출한 “모자, 남성” 등 외의 다른 그림들의 명사를 뽑아주어 데이터셋을 만든다. 이미지 명사 데이터셋과 문장에서 추출한 명사를 비교하여 해당하는 그림을 관람객에게 보여주게 된다.