영상으로부터 분위기와 스타일을 읽는 딥러닝 기반 검색엔진, ‘스카이브 잇 서치(Skive it Search)’
2017년 03월 06일

스카이브 잇 서치

'스카이브 잇(Skive it)'이 딥러닝 기술을 이용해 방문하려는 장소의 분위기와 스타일을 미리 확인할 수 있는 검색엔진 '스카이브 잇 서치(Skive it Search)'를 개발, 시험 운영 중이다.

스카이브 잇 서치는 어떤 장소의 리뷰를 토대로 특징을 파악하는 것이 아니라, 이용자가 스마트폰으로 업로드한 동영상을 스카이브 잇이 개발한 '준자율학습(Semi-unsupervised Deep Learning)' 엔진으로 실시간 분석해 아카이브하고, 다른 이용자가 자연어 검색을 통해 원하는 분위기의 장소를 찾아볼 수 있도록 만든 것이 특징이다.

이용자가 영상을 업로드하면, 각 영상에는 촬영 장소의 위치 정보와 함께 '소리(Sound)', '빛(Light)', '날씨(Weather)' 등 3개 항목에 총 23가지의 지표가 표시된다. 영상에 포함된 소리의 크기와 리듬, 빛의 색온도와 변화 추이, 온도와 바람의 세기 등 다양한 내용들이 표시되는데, 이 가운데 '소리'와 '빛' 항목의 값들은 영상에서 직접 도출된 데이터이고, '날씨' 항목은 스마트폰의 기지국으로부터 수신된 정보(한국에서 촬영시 누락되는 곳도 있음)다.

스카이브 잇 서치는 이런 데이터를 근거로 각 영상의 '분위기(MOOD)'와 '스타일(STYLE)' 을 분석해 태그 형식으로 표시해준다. 분위기 태그는 '활동적(LIVELY)', '편안한(RELAXING)', '낭만적(ROMANTIC)' 등 3가지, 스타일 태그는 '복고(RETRO)', '현대적(CONTEMPORARY)', '실무적(PRACTICAL)', '아늑한(COSY)', '유러피언(EUROPEAN)', '낡은(RUSTIC)', '아시아풍(ASIAN)', '힙(HIP)', '빈티지(VINTAGE)' 등 9가지다.

'편안하고 현대적(RELAXING CONTEMPORARY)', '활동적 복고풍(LIVELY RETRO)' 등으로 표시되는 메인 태그 값은 완벽하다고 할 수는 없다. 그러나, 또한 소음도나 온도 등 영상으로부터 도출된 다양한 분석 지표들이 더해져 자연어 검색의 대상이 될 수 있기 때문에, 결과적으로 특정한 분위기나 스타일로 장소를 검색하려는 이용자 입장에서 스카이브 잇 서치의 가능성은 큰 것으로 보인다.

스카이브 잇은 어쩌면 인공지능 기술의 완벽성을 추구하기보다는 실질적인 활용성에 중점을 두는 것으로 보인다. 샌프란시스코에 위치한 스카이브 잇의 CEO인 애디트야 모한(Aditya Mohan)은 이메일 인터뷰를 통해, "딥러닝 기술이 우리 목표의 전부는 아니다."라고 말했다. 그는 향후 5~10년 사이에 '수퍼 휴머노이드(super humanoid)'보다도 '휴머노이드'의 수요가 늘어나게 될 것이라면서, "앞으로 로보틱스 분야로 우리 기술을 확장해, 로봇의 ('두뇌'가 아니라) '심장'처럼 쓰이게 될 하드웨어 칩을 개발할 것"이라고 포부를 밝혔다.

스카이브 잇 서치는 현재 데스크톱 웹 브라우저로 접속해 살펴볼 수 있으며, 스마트폰에서 모바일 웹으로 접속하면 영상을 시험적으로 업로드해볼 수 있다. 애플리케이션은 클로즈 베타 단계다.

Comments are closed.