비즈니스, 인텔리전스에서 애널리틱스로

고급 분석은 빅데이터 시대에서 자연스러운 변화

Business Intelligence에서 Business Analytics로..

세상 사람들이 자신들이 생각하는 옛모습을 버리지 못하는 이유는 그것이 익숙하기 때문이며, 옛모습을 대신할 새로운 모습을 그려 보기가 쉽지 않기 때문이다. -도서: 플래시보이 중- 언젠가 읽었던 책 중 마음 속 깊이 공감되었던 문장을 적어보면서 이야기를 풀어 보고자 한다.

BI는 종합 예술이다

BI(Business Intelligence)의 사전적인 의미는 다음과 같다. 일련의 비즈니스 의사결정을 지원하기 위해 기업 내, 외부에 분산된 데이터에 접근, 수집, 통합, 분석, 추론 등의 비즈니스 정보를 시각화하기 위한 일련의 기술, 프로세스, 솔루션 등을 의미한다.



직장 생활을 시작하면서부터 끊임없이 접했던 단어가 Business Intelligence라는 단어다. 첫 몇 년간은 기술을 익혔다. 데이터베이스에서 데이터를 조회하고, 이를 고객이 원하는 형태로 조합하여 그래프로 표현하는 일을 주로 했다. 그 다음 몇 년은 디자인을 익혔다. 어떻게 하면 결과물을 고객이 이해하기 좋은 형태로 보여줄까 고민했다. 그래프의 종류에 대해 공부하고, 색깔과 배치를 통해 가독성과 시안성을 높이고자 했다. 또, 다음 몇 년은 최적화를 익혔다. 어떻게 하면 빨리 결과물이 나올 수 있을까 고민했다. 쿼리를 최적화하고, 시각화 요소를 간소화하고, 결과물을 빠르게 나오도록 다듬었다. 또한, 고객의 의견을 정확하게 이해하고 정리하는 요구 공학을 배우고, 프로젝트를 성공적으로 완수하기 위한 프로젝트 관리를 공부했다. 까다로운 고객의 요구를 만족시키기위해 요구 정의의 칼과 프로젝트관리의 방패로 어려움을 이겨냈다. 나에게 BI란 고객의 만족도를 높이는 종합 예술이었다.

BI + G(reat) = BIG DATA

당신에게 뭔가 확실한 생각이 떠오르면 다른 사람들도 똑같은 생각을 하고있는게 분명하다. 무슨 일이 벌어지고 있는지 알아내려면 결국 그 속으로 들어가는 방법뿐이다. -도서: 플래시보이 중- 막연 했지만, 무언가 패러다임이 바뀌고 있다는 생각이 강하게 들었고, 빅데이터의 가치에 대해 과소평가 했다는 것을 직시했다. 그 다음 수순은 현실에 대한 냉철한 판단을 해야했다. 이전보다 더 뛰어난 하드웨어가 있다면, 지금까지 할 수 없었던 새로운 형태의 BI가 발생하겠다고 생각했다. 연산 속도가 빨라졌다면, 결과물도 더 빨리 볼 수 있고, 용량이 늘어났다면 더 많은 데이터를 다룰 수 있으니, 훨씬 많은 종류의 데이터의 결합을 통해 더 빨리 새로운 인사이트를 도출할 수 있다는 결론이었다. 이는 BI의 두 가지의 패러다임의 변화를 가져왔다.

첫째로 빠른 시각화를 통한 인사이트 도출이다.
여기서 시각화는 단순히 데이터를 그래프로 바꾸는 것에 그치는 것이 아니라, 다양한 형태의 시각화를 통해 데이터의 특성을 빠르게 파악하여 의미 있는 결과를 도출하는 것이다. 전통적인 BI에서는 원천 데이터에 대한 DW설계부터 DM구성까지의 프로세스를 거치는 동안 데이터에 대한 파악없이 화면에 대한 목적을 정의하고, 구성하는 경우가 빈번했다. 원천 소스에 대한 데이터 탐색(EDA)없이 화면을 구성 한다는 것은 실제 데이터가 적재 됐을 때, 원하는 결과를 얻지 못할 위험성을 내포한다. 바꿔 말하면, 프로젝트의 말미에 이르러야 사용자가 결과 화면에 대한 가치판단이 가능하다는 것이다. 프로젝트의 위험관리의 입장에서는 대책을 마련해야 할 예고된 리스크인 것이다. 종전에는 인력의 투입시기를 뒤로 미루어 비용을 절감하는 소극적 대응을 해왔다. 하지만 이는 프로젝트가 진행 될수록 변경 관리의 리스크를 안게 되는 관점에서 올바른 대처로 보기 어렵다. 보다 적극적인 대응 방법으로 원천데이터에 대한 기초통계 분석을 적극적으로 수행하고, 이를 통한 화면의 예상 결과를 빠르게 도출하면서, 유의미한 결과를 시각화 하는 형태로 고객과 협의하는 것이 필요하다.

둘째로 고급 분석을 통한 예측이다.
과거와 현재 미래는 서로 밀접하게 연결되어 있다. 사건의 시작과 끝을 시간이라는 속성을 제거하면, 끊임없는 결정이 남는다. 그렇다면 매번 정확한 결정을 내리기 위해서는 어떻게 해야할 것인가 수 많은 자료를 바탕으로 심사숙고하여 가장 최상의 결정을 도출하는 것이다. 하지만 현실은 누구도 예외가 있을 수 없는 시간이라는 제약 사항이 존재한다. 이 때문에 매번 최상의 결정을 내린다는 것은 불가능에 가까우며, 어디에 있는지 모르는 지뢰밭 길을 걷는것과 같다.

BI(Business Intelligence)에서 BA(Business Analytics)로의 진화

고급 분석은 빅데이터 시대에서 자연스런 수순으로 보인다. 이전부터 수 많은 통계적 기법과 알고리즘이 존재했지만 쉽사리 현실사회에서 활용될 수 없었던 요인으로 부족한 H/W, S/W 성능과 고급 기술을 적용할 수 있는 전문가의 부족을 꼽을 수 있다. 하지만 H/W 성능은 매년 기하급수적으로 발전했고, 빅데이터에 대한 투자의 증가로 인해 많은 전문인력이 양성되었다. 고급 분석을 통한 성과가 나올 기술적 특이점에 도달한 것이다.



1950년대의 전설적인 정보이론가 존 폰 노이만은 두 가지 중요한 주장을 하였다. 첫 번째 주장은 인간의 발전이 선형적이지(상수를 반복적으로 더해서 증가하지) 않고 기하급수적이라는(상수를 반복적으로 곱해서 증가한다는) 것이다. 두 번째 주장은 기하급수적 증가가 최초의 예측을 뛰어넘는 속성을 지닌다는 것이다. 처음에는 더디게 시작해서 사실상 눈에 띄지 않지만 결국에는 폭발적으로 증가하여 완연한 변화를 보여 준다. 먼 미래에 어떤 것들이 기술적으로 실현 가능할지 예측할 때, 대부분의 사람들은 미래의 발전력을 턱없이 과소평가한다. 이른바 ‘역사적으로 확인된 기하급수적’ 관점이 아니라 직관적으로 느껴지는 선형적 관점을 바탕으로 생각하기 때문이다. 이는 바둑기사 이세돌이 딥러닝으로 무장한 알파고에 패했을 때, 받은 사회의 반응이 충격적일 수 밖에 없던 이유이기도 하다.

우리는 이제 기술의 특이점의 시대에 살고있다. 기계의 성능이 인간을 뛰어넘었다고 더 이상 놀라울 것도 없다. 인간은 인간을 뛰어넘는 무언가를 만들어내기위해 계속적으로 노력해왔고, 그 결과가 보여지는 특이점의 시점에 도달한 것이다. 보는 관점에 따라 Business Analytics의 시대가 도래했을 수도, 혹은 아닐 수도 있다. 하지만 미래는 준비하는 자에게 펼쳐진 현재라고 감히 주장하고 싶다. 앞으로의 5년, 아니 3년 후의 미래가 더욱 기대 되는 이유가 바로 그것이다.