전자상거래 기업인 이베이(eBay)가 컨텐츠 개인화, 자동사기 감지 등을 위해 수집한 데이터를 몇 초 이내로 분석할 수 있는 오픈 소스 도구 ‘펄사(Pulsar)’를 선보였다.
이베이가 개발한 이 툴은 현재 다운로드가 가능하며 "이 프레임워크를 통해 1초당 수백만 개의 활동을 관찰할 수 있을 것”이라고 전했다.
이베이는 오늘 처음으로 시스템에 관한 세부 정보를 공개했으며, 오픈소스 라이센스 내에서 모두가 이용 가능 할 수 있도록 설계했다. 이베이의 샤라드 멀티와 토니 엉은 오늘 블로그를 통해 “펄사는 사용자 및 비즈니스 활동에 대한 정보를 실시간으로 수집할 수 있으며, 필수적인 인사이트를 제공해주고 사용자들의 움직임에 몇 초 내로 대응할 수 있도록 만들어줄 것”이라고 설명했다.
이베이는 현재 배치 프로세싱(batch processing) 및 분석작업을 위해 하둡(Hadoop) 소프트웨어를 사용하고 있었지만, 실시간 데이터를 기반으로 한 발전된 개인화 컨텐츠, BOT 딕텍션, 대시보드 설계를 등을 위해 새로운 방식의 프로세싱 및 데이터 분석이 필요하다고 밝혔다. 현재 펄사 시스템은 오픈소스 툴인 카산드라 NoSQL 데이터베이스(Cassandra NoSQL database)와 드루이드(Druid date store)를 통합하고 있다.
구글은 과거에 자체적으로 수집한 정보를 관리하기 위해 ‘스트림 프로세싱’ 시스템을 개발하였다. 마이크로소프트, 트위터 링크드인도 또한 정보 관리를 목적으로 자신들만의 시스템을 개발하였다. 회사들이 범위 적으로 빅데이터를 다룰 수 있는 또 하나의 오픈소스 옵션이 생긴 셈이다.
현재 이베이 내에서 펄사는 이미 상용화가 진행 중이다. 이베이의 한 직원은 펄사 리포트를 통해 “이베이 내에 여러 팀은 펄사 플랫폼을 활용해 여러 솔루션을 성공적으로 개발하였고, 웹 내에서의 개인화, 광고, 인터넷 마케팅, 청구서 발부, 비즈즈니스 모니터링 등에서 비롯되는 문제에 대한 해답을 찾았다”고 밝혔다.
출처: Venturebeat
