데이터이야기
DB 노하우, 데이터직무, 다양한 인터뷰를 만나보세요.
빅데이터, 아주 오래된 이야기 근래에 IT 분야에서 가장 핫한 키워드를 하나 꼽으라면 아마도 ‘빅데이터’를 꼽을 수 있을 것이다. 어쩌면 ‘빅데이터’라고 하는 키워드 자체는 약간 유행이 지났는지도 모른다. 이 단어가 사람들 사이에서 회자되기 시작한 것은 2012년 정도이다. (구글에서 bigdata라고 하는 키워드의 검색 량이 급격히 늘어나기 시작한 것이 딱 이 시점이다.) 지금도 여전히 사람들 입에 많이 오르내리고는 있지만 피크는 살짝 지나간 것 같은 느낌이다. 빅데이터, 아주 오래된 이야기
나는 비즈니스 데이터 분석 분야의 전문가로 활동하고 있다 보니 관련된 컨퍼런스에서 종종 연사로 초청받기도 한다. 자연히 이쪽 분야에 종사하는 사람들을 많이 만나게 된다. 개중에는 데이터 분석 관련된 일을 오랫동안 해 온 사람들도 있는가 하면 새로이 이 분야에 관심을 가지고 지식과 정보를 습득하기 위해 컨퍼런스에 참석하는 사람들도 많다.
그런데 이 두 부류의 사람들은 ‘빅데이터’라고 하는 트렌드를 논할 때에 받아들이는 방식이 많이 다르다. 이 분야에 경험이 별로 없는 사람들은 비즈니스 데이터 분석 분야의 미래를 매우 긍정적으로 본다. 우리의 모든 일상이 데이터로 남는다면 당연히 그 속에는 우리의 습성이나 특징이 드러나 있을 것이며 이것을 활용하면 여러 가지 다양한 측면에서 우리의 삶을 획기적으로 개선할 수 있을 것이다.
이를테면 정부가 공공 정책에 반영한다거나 민간 기업이 마케팅에 활용한다거나 하는 식을 생각해 볼 수 있다. 비즈니스 데이터 분석 분야에 막 발을 들여놓은 초짜들은 이런 장밋빛 미래를 믿어 의심치 않는다. 그런데 흥미로운 것은 이 분야에 오래도록 종사한 사람들은 오히려 이 분야의 미래를 회의적으로 보는 경우가 많다는 점이다. 왜 그럴까
사실 이 분야에 오래 전부터 종사해 왔던 사람의 입장에서는 이 ‘빅데이터’라고 하는 키워드가 이미 흘러간 가락이다. 비슷한 주제가 1990년대 말에서 2000년대 초 사이에 대유행을 했던 적이 있다. 그 때 당시는 키워드가 빅데이터가 아닌 DW(Data Warehouse) 내지는 MIS (Management Information System)와 같은 것들이었다. 예나 지금이나 밑바닥에 깔려 있는 접근방식 자체는 동일하다. 비즈니스에서 생성되는 데이터를 활용해서 비즈니스의 효율을 높이자는 것이다.
좀 더 구체적으로 말하자면 보다 정확한 정보에 기반 해서 의사결정의 질을 높인다거나 고객 데이터를 철저하게 분석해서 보다 개인화 된 서비스를 제공한다거나 하는 등의 접근 방법이다. 선진국, 특히 미국의 기업들 가운데는 카지노 체인인 해러스처럼 일찍부터 비즈니스 데이터의 중요성에 눈을 떠서 공격적인 투자를 하고 이를 바탕으로 경쟁우위를 확보한 기업들이 많다. 이러한 기업들이 만들어 낸 경영 사례들이 한국에도 알려지면서 한국에서도 한때 기업들이 비즈니스 데이터를 위한 분석 시스템에 집중적으로 투자했던 적이 있다.
데이터 분석을 위한 시스템을 구축하는 데에는 막대한 돈이 들어간다. 이 시스템이 주로 하는 일이 데이터를 수집하고 집계하고 사용자에게 제공하는 일인데, 이를 이루는 근간이 바로 DBMS이다. 그런데 이러한 일을 하는 DBMS는 일반적인 DBMS와는 쓰는 방식이 다르다. 운영계에서 사용되는 일반적인 DBMS는 데이터를 추가하거나 업데이트를 하는 일이 많다. 조회도 많지만 이런 경우에는 특정한 하나의 레코드를 조회해서 그 값을 보는 것이다. DBMS가 하는 일도 매우 간단한 일이다. 대신에 건수가 많다. 이런 시스템은 간단한 작업을 1초에 수십만 수백만 개를 처리한다.
그러나 정보계에서 쓰이는 DBMS는 주로 대용량 데이터의 조회나 집계에 사용된다. 이를테면 운영계에서 처리하는 일은 “승인번호 34512453번 거래를 취소하라”와 같은 일이지만 정보계에서는 “2015년 한 해 동안 결제된 금액의 전체 합계를 구해라” 이런 식이다. 이런 시스템은 작업 자체는 몇 개 안 되지만 대신에 하나의 작업을 처리하는 데에도 시간이 많이 걸린다. 앉은 자리에서 안 나오는 경우가 다반사다. 운영계 시스템과 정보계 시스템을 직접 비교하는 것은 어리석은 짓이다. 마치 스포츠카와 덤프트럭을 비교하는 것과 같다.
하지만 어쨌든 제법 비싸다. 게다가 BI 솔루션이나 시각화 툴 같은 분석을 위한 소프트웨어까지 갖추려면 제법 큰 규모의 투자를 요구한다. 투자 규모가 크기 때문에 기업은 매우 신중하게 결정한다. 판매업체를 회사로 불러들여서 시연을 시키기도 한다. 그런데 시연을 하면 고객사들은 깜짝 놀라는 경우가 많다. 회사가 이미 가지고 있는 데이터를 기가 막히게 활용해서 임원들이 혀를 내두를 정도로 날카로운 인사이트를 찾아낸다. 바로 여기에 낚여서 회사는 정보인프라에 돈을 투자하게 된다.
문제는 막상 구축이 끝났을 때에 발생한다. 솔루션 판매업체들이 와서 약식으로 구축하고 시연을 할 때에는 신기한 인사이트들이 많이 나오다가 막상 정식으로 구축을 해 놓고 보니 유용한 정보가 안 나오는 것이다. 이유는 간단하다. 이 시스템으로 분석을 해서 인사이트를 끄집어 내거나 이를 경영에 적용하는 부분에서 문제가 있기 때문이다. 분석은 결국 사람이 하는 것이다. 아무리 좋은 인프라를 갖추어 놨다고 한들 이를 적절히 활용할 줄 아는 사람이 없는 이상은 무용지물에 불과하다. 시연 때에 나온 멋진 인사이트는 사실 그 시스템이 만들어 낸 것이 아니라 그 솔루션 팔러 와서 시연을 한 영업사원이 만들어 낸 것이다.
그러니 막상 구축을 해 놓으면 성과가 안 날 수밖에 없다. 사정이 이리 되면 경영진은 골치가 아파진다. 막대한 돈을 들여서 투자를 했으면 뭔가 매출이 올라갔다거나 비용이 줄었다거나 하는 식으로 성과에 연결이 되어야 하는데 이게 안 되는 것이다. 자연히 조직을 없애거나 축소하고 거기 있던 사람들을 다른 곳에 배치시켜버린다. 인력을 더 투자해서 분석 역량을 키워도 시원치 않을 판에 자꾸 투자를 줄이니 잘 될 리가 없다. 이렇게 해서 막대한 돈을 들여 구축한 정보계 시스템이 먼지를 먹고 사장되어 가는 것이다.
비즈니스 데이터 분석 분야에 오랫동안 종사해 왔던 사람들 중에는 이러한 과정을 직접 두 눈으로 지켜본 사람들이 많다. 이러한 일을 했던 본인이나 함께 일했던 동료들이 구조조정의 대상이 되는 것을 경험한 사람의 입장에서는 ‘빅데이터’라고 하면 ‘정보계 시스템 팔아먹는 회사들이 또 뭔가 트렌드를 만들어서 마케팅 키워드로 들고 나온 모양이지 내가 한 번 속지 두 번 속나 이번에는 안 당한다!’라고 속으로 생각하면서 이 빅데이터 트렌드를 바라본다. 데이터를 비즈니스에 활용한다는 것은 말은 쉽지만 막상 해 보면 생각처럼 만만한 일이 아니다.
물론 데이터 분석을 위해서는 분석을 할 수 있는 시스템이 기반이 되어야 하지만 시스템을 구축해 놓았다고 해서 그것만으로 일이 되는 것이 아니다. 오히려 이것이 시작이다. 누군가가 적극적으로 이 데이터를 파고들어서 거기서 인사이트를 발견하고 그것이 비즈니스에 도움이 되는 방향으로 활용될 수 있도록 적극적으로 조직 내에서 설득을 해야 한다.
국내의 기업들의 현실을 보면 시스템, 즉 하드웨어는 어느 정도 갖추어 놓은 회사들이 많다. 예전에 DW 혹은 MIS 붐이 일었을 때에 투자해서 구축해 놓은 시스템이다. 하지만 이러한 시스템을 제대로 활용하는 조직은 드물다. 문제는 그 뒤의 분석과 실행 단계에 있다. 이러한 일을 할 수 있는 전문 인력과 조직문화가 없다면 시스템은 무용지물에 불과하다. 빅데이터는 결국 예전에 구축해 놓은 시스템의 확장판이다. 빅데이터 도입이 망설여진다면 이미 자신들이 가지고 있는 데이터는 잘 활용하고 있는지를 되돌아 볼 필요가 있을 것이다.