빅데이터 분석의 또 다른 패러다임 - 실시간(Real-time)

이전까지의 글은 빅데이터 분석을 위한 수집에 대한 내용이였으며, 앞으로 데이터 분석을 위한 몇 가지 오픈소스와 사용법을 설명하도록 할 예정입니다. 그 전에 잠시 최근의 빅데이터 분석의 새로운 패러다임 - 물론 아주 오래 전 부터 있었던 내용들이지만 - 최근에 부각되는 실시간, 즉, Real Real-time 분석에 대해 간단히 정리하고 합니다.

Real-time 실시간

빅데이터 분석 트렌드에서 전통적인 데이터 분석방법, 즉, 대량의 다양한 데이터를 데이터베이스 또는 하둡 에코시스템을 통한 분석은 예전부터, 그리고 현재에 이르기까지 널리 보급되고 활성화되고 있다. 하지만, 기업 경영환경과 시장환경의 변화속도가 빠르고 사물 인터넷 시대를 맞이하여 신속한 의사결정이 필요한 요소가 많아지고 있다. 이러한 전통적인 데이터분석의 대안으로 실시간 분석이 대두되고 있으며, 이미 기술적으로는 실시간 솔루션이 시장에 많이 나와있다. Oracle CEP, BusinessEvents, IBM InfoSphere Streams 등 대규모 벤더사들의 제품들이 있고, 오픈소스 진영에는 Esper가 대표적이다.

여기서 실시간이라고 하면 아래에서와 같이 Real-time, 또는 Real Real-time을 얘기한다.

- Batch : 초,분,시간 수준의 일괄처리
- Near Real-time : 초단위 수준의 지연시간 보장
- Real-time : Milliseconds 수준의 처리 보장
- Real Real-time : Microseconds 수준의 처리 보장

실시간 처리를 위한 선택 - CEP(Complex Event Processing)

실시간 처리를 위한 아키텍처 개념이 CEP이다. CEP란 데이터를 이벤트 관점으로 바라보고 지속적으로 발생하는 데이터를 실시간으로 분석하고 의미있는 패턴을 인지하고 즉시 반응하는 시스템이다. 즉, DB나 File, Hadoop에 저장하지 않고, 다양한 고속의 이벤트 스트림을 In-Memory 기반으로 초당 수 백/수십 만건의 Real-time 처리가 가능하다. 기존의 DB, Hadoop 기반의 전통적인 Batch 처리와의 차이점을 요약하면 아래와 같다.

빅데이터 실시간 적용 사례

- 주식 알고리즘 트레이딩
대표적인 사례로 이미 CEP 기술이 활용되고 있다. 주식 틱을 모니터링 하다가 어떠한 복합 조건에 도달하면 자동으로 주식을 매도/매수

- 제조업
제조업에서 활발히 사용되고 있는데, 생산라인, 부품을 실시간으로 모니터링하여 재고 관리에 사용되거나, 공장내 온도,습도 등의 센싱 데이터를 실시간 수집 분석하여 자동 조절

- 금융
카드,금융사의 부정사용 감지

- 통신
Call 데이터 실시간 감지,분석 모니터링에 활용

-OI
서버 등 시스템을 실시간 모니터링에 활용되며, 특정조건(예를 들어, 10초내 500에러코드 3건 검출)에 부합될 경우 경고발생 등에 활용

위 사례 외에도 보안, 쇼핑 등 이미 생활 전반에 널리 활용되고 있는 것이 실시간 분석이며, 향후 빅데이터 분석의 중심이 될 것으로 예측된다.

출처 : 한국데이터베이스진흥원

제공 : DB포탈사이트 DBguide.net