데이터 인사이트

데이터 전문가 칼럼
데이터 전문가가 전하는 데이터 노하우

[빅데이터 분석] 효과적인 빅데이터 관리의 시작

작성자
관리자
작성일
2020-10-23 13:48
조회
74
 

효과적인 빅데이터 관리의 시작

데이터 통합으로 대응하는 빅데이터 시대

빅데이터에 대한 기업들의 관심이 식을 줄 모르고 있다. 보유한 데이터만으로도 충분히 문제를 해결할 수 있음에도 기업들은 고객, 제품, 파트너 그리고 자사에 영향을 미치는 모든 것에 대한 사용자들의 질문에 답변하려고 총력을 기울이고 있다. 기업은 추진 중인 마케팅 캠페 인이 고객의 트위터와 페이스북 업데이트에 최적화됐는지 또 웹 커뮤니티 내에서 누가 가장 큰 영향력을 가지고 있는지 궁금해 한다. 그리 고 통화 상세기록으로 고객의 문제를 식별 가능한지와 센서 데이터로 제조 결함률을 낮추고 테스트 장비로도 그 내용을 확인할 수 있는지 알길 원한다. 물론 센서 데이터를 통해 제조 생명주기 전반에 걸쳐 제품 결함과 관련된 다양한 정보를 얻을 수 있는지도 알고싶어 한다.
필자가 근무하고 있는회사의 고객과 파트너들도 빅 데이터에 대해 다양한 질문들을 쏟아내고 있다. 그 때마다 필자 는“빅데이터는 동전의 양면과 같다”고 대답한다. 빅데이터란 동 전의 한쪽 면에는 기술이 있다면 다른 쪽 면에는 비즈니스가 있 기 때문이다.

• “빅데이터는 기술과 비즈니스의 결합”

 기업들이 가지고 있는‘하둡(Hadoop)이 빅데이터의 핵심일 까?’,‘ 소셜데이터스트림을이용해어떻게전사적인통찰력을 강화할수있을까?’,‘ 데이터볼륨이계속증가하는데어떤준비 를 해야 하나?’등과 같은 의문이 모두 기술에 대한 이야기다. 결론부터 말하면 빅데이터가 주로 클릭 스트림, 모바일 장치, 센서 데이터 등과 같은 데이터 소스에서 생성되기 때문에 기업들 은 빅데이터를 또 하나의 단절된 환경이 아닌 기존 인프라를 발 전시키기 위한 매개체로 활용해야 한다.

그러나 기업에게 있어 IT는 과거 내역에서 가져오든 마이크로 초 단위로 스트리밍하든 무조건 데이터를 지원하는 역할이었다. 그래서 대표적인 빅데이터 기술인 하둡과 같은 분산 컴퓨팅 기술 은 확장할 수 있다는 조건 하에서 기존 정보관리 방식이 수용하 고 또 제공할 수 있는 범위 안에 있어야 한다고 말한다.

그러나 최고 경영자부터 현업 관리자에 이르기까지 모두 빅데 이터에 관심을 가지고 있는 지금 상황의 핵심은 너무나 단순해 서 부인하지도 못하는 명제인‘데이터는 주변에 산재해 있다’는 것이다.

사용자들은 자신의 호불호를 블로그나 트위터, 페이스북에 표 현하고 그들의 생각은 소속 커뮤니티 구성원들에게 영향을 미친 다. 그래서 기업은 사용자들이 어디에 있고, 왜 그렇게 말하며, 누구에게 영향을 주는지 알길 원한다.

물론 과거에도 기업은 사용자의 견해에 관심이 많았다 그러나 표본화된 데이터와 직감을 사용해 의사결정한 후 사용자 견해에 대응했다. 하지만 기술이 발전하고 비용 효용성이 높아지게 되자 기업은 흩어진 데이터의 조각들을 통합해 신속하고 안전하며 사 용자 친화적으로 대응할 수 있게 되길 기대하게 됐다.

또 빅데이터의 다양성과 복잡성이 데이터 품질을 악화시킬 수 있다는 인식이 생겨나면서 더 이상 독립형 임시 데이터 품질 도 구로는 대규모 스트림을 대응하기 어려워졌고, 결국 기업이 원하 는 신뢰도 높은 양질의 데이터 생성도 점점 난해해졌다.

특히 문제는 이런 불량 데이터가 성과 없는 비즈니스로 이어진 다는 것이었다. 실제로 CIO Insight 보고서에 따르면 10명 중 4 명이 불량 또는 오래된 데이터를 통한 올바르지 않은 비즈니스 의사결정을 한 적이 있다고 답했다. 따라서 마스터 데이터 관리 (MDM)와 데이터 품질 관리 그리고 데이터 통합이 빅데이터가 제공하는 비즈니스 기회를 잘 활용할 수 있게 해주는 필수조건으 로 자리하게 됐다.


<그림 1> 빅데이터의 다양성과 그 기회 및 과제의 범위


• 빅데이터 시대에 대응하는 기업들의 현 주소

 최근 인포매티카는 전 세계 600여 명의 IT 및 현업 부서 담당 자를 대상으로 빅데이터 프로젝트의 현황과 데이터 전략을 분석 한 결과를 발표했다. 보고서에 다르면 빅데이터를 IT 과제가 아 닌 비즈니스 기회라고 인식한다는 대답이 반대 의견보다 2배 이 상 많았다.

비즈니스를 기회라고 인식하는 기업들은 대부분 빅데이터 관 리를 통한 비즈니스 효율성 향상에 적극적인 투자를 진행 중인 것으로 나타났다. 특히 조사 기업 중 70%는 현재 빅데이터 프로 젝트를 고려하거나 계획하고 있었으며, 이미 진행 및 테스트 단 계에 접어든 기업도 33%나 됐다.

흥미로운 점은 이번 조사에서 빅데이터의 다양성과 기회 그리 고 과제 범위를 규명할 수 있었다는 것이다. 빅데이터의 어떤 측 면이 현 조직과 연관성이 높은지를 물어보는 질문에 응답자 중 74%가 트랜잭션 볼륨 관리를 꼽았다. 이는 전통적인 엔터프라 이즈 데이터 영역에도 빅데이터를 활용한 과제들이 상당 수 있다 는 것을 의미한다.

그 뒤를 이어 빅데이터의 효율적 처리를 돕는 하둡이나 NoSQL과 같은 신기술이 연관성 있다는 대답이 46%로 나타났 다. 그리고 소셜 미디어 데이터(35%)와 모바일 기기 데이터 (31%) 그리고 MGD(Machine-Generated Data, 22%) 순으로 연관성이 있는 것으로 조사됐다.

이를 통해 우리는 기업들이 새로운 데이터 유형으로 통찰력과 효율성 그리고 고객 참여를 도출할 수 있어 소위‘빅 인터랙션 데 이터’에 대응하는 노력들을 진행하고 있음을 확인할 수 있다.

• 빅데이터를 바라보는 세 가지 관점

기업의 비즈니스는 장소와 대상 그리고 방법이 빠르게 변화하 고 있다(<그림 2> 참조).

그리고 이런 변화로 인해 빅데이터는 더 큰 규모로, 더 다양하 게 그리고 더 빠르게 성장하고 있다.

<그림 2> 기업 비즈니스의 장소, 대상, 방법 모두 변화하고 있다

빅데이터는 적절한 비용과 시간 그리고 일반적인 상용 기술로 트랜잭션과 인터랙션 데이터 모두를 파악, 관리, 처리해야 한다. 그래서 <그림 3>에서 보는 것처럼 세 가지 기술경향이 융합돼 있 으며 이에 세 가지 관점을 가지고 빅데이터에 접근해야 한다.


<그림 3> 빅데이터를 구성하는 세 가지 요소

기업들은 빅데이터를 활용해 효율성을 개선하고, 비용을 절감 하며, 브랜드와 고객 관계를 잘 관리할 수 있게 되길 기대하고 있 다. 하지만 빅데이터의 사업 가치를 수익화할 수 있는 준비된 기 업은 거의 없는 것 같다. 또한 빅데이터에 대한 적극적인 대응을 소홀히 하면 예상치 못한 추가 비용 발생과 복잡성 증대 그리고 리스크가 초래될 수 있음에도 불구하고 계획조차 수립하지 않은 기업도 많아 보인다.

결국 대용량 데이터가 조직의 최고 자산이 될지 아니면 가장 무거운 짐이 될지는 급격하게 증가한 데이터 볼륨과 다양성 때문 에 생긴 복잡성을 만족할 만한 수준으로 처리할 수 있는 전략과 솔루션을 결정하는 일에 달려있다.

그런 점에서 빅데이터는 거스를 수 없는 대세 역할을 자처하며 조직들이 IT에 대한 획기적인 접근방법을 채택하고 기존 프로세 스와 인프라를 현실에 맞게 재편하도록 강요하고 있다. 결국 기 업이 빅데이터를 통한 비즈니스 가치를 활용하고자 한다면 종합 적이면서 통합된 그리고 개방적인?? 빅데이터 환경에 부합되는 데이터 통합 플랫폼은 모든 소 스에 산재한 다양한 크기의 데이터를 액세스할 수 있고, 그것들 을 다시 하나로 묶어 통합 관리해 통찰력과 가치를 동시에 제공 할 수 있어야 한다.

여기서 분명한 것은 빅데이터는 아무리 경쟁 업체가 비즈니스 적인 영향력을 주도하고 있다고 해도 판도를 한번에 바꿀 수 있 는 기회를 그것도 풍부하게 제공한다는 것이다. 그런 점에서 빅 데이터는 차세대 리더들이 다룰 먼 미래의 과제가 아니며 한때 스쳐지나가는 유행도 아니다. 빅데이터는 기업들의 눈앞에 실존 하는 존재이며 특히 기업의 존재 가치인 이윤추구를 위한 새로운 기회이자 원동력임에 틀림없다.

<<데이터 중심 기업을 위한 준비>>

Technology Vision 2011에서 액센츄어는“애플리케이션 시각 으로 모든 것을 보는 시대는 종식됐으며, 미래에는 급격히 증가 하는 데이터양과 처리속도 및 전달이 중요해져 데이터의 시각으 로 세계를 보는 것이 보편화될 것”이라고 선언했다.

실제로 데이터는 비즈니스의 중심으로 부상했다. 그래서 기업 들은 빅데이터를 처리하고자 보다 데이터 중심적인 관점으로 IT 프로젝트를 평가하기 시작했다. 특히 정보관리 전문가들은 다음 다섯 가지를 고려해 데이터를 바라보는 새로운 관점을 갖길 당부 한다.

• 가정이나 규칙보다 데이터 자체에 집중

오늘날의 기업들은 대부분 데이터, 특히 빅 트랜잭션 데이터와 빅 인터렉션 데이터(특히 소셜 인터랙션 데이터)를 어떻게 결합 하느냐에 따라 경영성과가 달라진다는 것을 잘 안다. 그러나 불 과 몇 년 전까지만 해도 기업은 보다 현명한 의사결정 지원과 운 영을 위한 가정 및 규칙 개발에 많은 자원을 투입시켰다.

하지만 최근 인식이 전환되고 저렴하면서 다양한 컴퓨팅 자 원이 등장 및 발전하게 되자 모든 데이터를 통합 환경에서 처리 할 수 있길 바라고 있다. 결국 기업들은 데이터 자체에 초점을 맞춰 추측과 시행착오 없이 기업 IT 인프라를 구축할 수 있게 된 것이다.

• 데이터 스킬, 해석과 분석 및 예측으로 발전

데이터에 대한 플랫폼적 접근 방법 때문에 데이터 검색이나 수 집 및 수정 등과 같은 사소한 작업들이 크게 감소했다. 이로 인해 IT와 현업 부서 그리고 여러 그룹 간에 주고받는 작업들도 함께 줄어들었다. 이런 현상은 분석 작업에 대한 업무 설명에서 영역 전반에 대한 해석과 심층적인 분석 및 시나리오 분석이 포함된 예측으로 그 비중이 옮겨갔음을 뜻한다.

그 결과 현업 및 데이터 애널리스트들은 데이터의 전후 사정을 깊이 이해하게 됐고, IT 개발자와 아키텍트 팀은 현재 상태 유지 에 대부분의 시간을 보냈던 것에서 탈피해 부가가치가 높은 작업 에 더 많은 시간을 할애하는 모습으로 변했다.

• 분산형 빠른 의사 결정

앞으로는 빅데이터와 관련된 내용 중 작업 또는 트랜잭션을 완 료하는 데 소요되는 시간이 핵심문제로 떠오를 것이다. 또한 현 업 부서 임원들은 비즈니스에 영향을 받는 그 순간 다양한 의사 결정을 하는 것이 일상이 될 것이다. 이때 중요한 것이 민첩성과 투명성 그리고 책임성이다. 특히 분산 환경에서는 이 세 가지의 중요성이 더 커진다.

성공적인 기업들은 대부분 직원들의 의사결정과 동료, 고객, 파트너들과의 상호작용 그리고 기업 전반은 물론 기업 외부로 확 대되는 다양한 활동에 일관적이고 포괄적인 관점(View)을 확보 하고 있다.

이런 기업들이 빅데이터 시대를 맞이해 새로운 준비를 해야 한 다면 소셜 미디어 및 응답 플랫폼이 포함돼 있으면서 효과적인 커뮤니케이션과 협업 및 통일성을 보장하는 데이터 통합 플랫폼 을 도입해야 한다. 특히 데이터 위치나 포맷이 독립적인 데이터 중심 기업이라면 분산형 의사결정과 운영지원을 위한 데이터 가 상화와 MDM에 대한 투자를 아끼지 말아야 한다.

빅데이터는 아무리 경쟁 업체가 비즈니스적인 영향력을 주도하고 있다고 해도

판도를 한번에 바꿀 수 있는 기회를 그것도 풍부하게 제공한다는 것이다.

그런 점에서 빅데이터는 차세대 리더들이 다룰 먼 미래의 과제가 아니며

한때 스쳐지나가는 유행도 아니다. 빅데이터는 기업들의 눈앞에 실존하는 존재이며

특히 기업의 존재 가치인 이윤추구를 위한 새로운 기회이자 원동력임에 틀림없다.

• 프로세스와 데이터 간의 대치 국면 해결

데이터와 프로세스는 오랫동안 대치해 왔다. 그러나 오늘날 엔 터프라이즈 데이터 통합 플랫폼은 데이터와 프로세스를 분리시 키면서 단순해졌다. 이로 인해 데이터를 논리적인 객체로 표현할 수 있게 됐고 물리적 데이터와 결합시키지 않은 상태에서 표현하 고 또 가공할 수 있게 됐다. 즉 데이터 객체 및 추상 계층을 물리 적 인터페이스와 별도로 처리할 수 있게 된 것이다

하지만 기업들은 스킬과 지식 및 비즈니스 프로세스 소유권을 놓고 벌이는 프로세스와 데이터 간의 대치 그리고 워크플로우 툴 과 전통적인 데이터 중심 툴 간의 대치라는 또 다른 장애 요인들 에 직면하게 됐다. 또한 비즈니스 프로세스와 비즈니스 규칙의 급속한 변화에도 긴밀히 대처해야 한다는 과제를 안게 됐다.

• 애플리케이션 중심에서 데이터 중심으로

일정 시점에 이르면 모든 애플리케이션은 구축 및 교체되지만 데이터는 영원하다. 또 애플리케이션은 마이그레이션되거나 교 체되지만 데이터는 규제 준수와 분석 또는 여타 운영상의 이유로 완전히 폐기되지 않는다. 따라서 데이터 중심으로 사물을 보는 새로운 관점은 기회로 전환하기를 원했던 과제에 대한 획기적인 해법을 제공한다.

즉 데이터 중심적인 시각을 채택함으로써 빅데이터에서 추출 할 수 있는 맥락, 관계, 통찰력 및 영향을 가지고 정보관리 안건 을 새롭게 정비하고 IT 투자에 대한 대화의 틀을 재편하는데 이 상적인 입지를 확보할 수 있게 된다.

특히 앞으로 몇 년 동안 기업에서 생성하고 소비하며 저장하고 액세스하는 데이터양은 기하급수적으로 늘어날 것이 분명하다. 그래서 일각에서는 산업과 정부 및 소비자 부문에서 정보가 수행 하는 역할이 변화할 것이라고 보고 빅데이터를‘또 다른 산업 혁 명’이라고 부른다.

그러나 데이터양의 증가는 빅데이터의 실체에 반에도 못 미친 다. 빅데이터는 데이터의 다양성과 복잡성 및 처리 속도의 대규 모 증가를 초래한다. 이미 많은 조직들이 수십 개의 형식과 수백 개의 소스 및 글로벌 규모의 실시간 스트리밍 데이터 등 빅데이 터의 집요한 공격에 시달리고 있다. 그래서 일부 전문가들은 빅 데이터가 이전에 있었던 모든 것을 축소시킬 것이라고 주장한다.

그런 점에서 기업이 통합을 통해 빅데이터의‘스윗스팟 (Sweetspot)’을 맞춘다면 기존 트랜잭션 데이터와 새로운 인터 랙션 데이터를 통합해도 달성하기 어려운 통찰력과 가치를 얻을 수 있을 것이다. 이를 가장 잘 보여주는 예가 소셜 미디어에서 수 집한 고객의 선호도와 비선호도 프로파일 데이터를 보강해 타겟 마케팅을 개선하는 전략이다.

결국 데이터 통합 없이는 빅데이터는 수많은 빅데이터 사일로 에 지나지 않는다. 아직은 소셜 미디어 데이터의 20%만 마케팅 과 연관된다고 추정되고 있다. 그런 점에서 기업은 동적 데이터 스트림에서 선택적 콘텐츠를 분석할 수 있는 고성능 플랫폼도 필 요하다.

<<정리하며>>

지금까지 빅데이터 시대를 맞이해 데이터 중심적인 기업이 되 기 위해서는 어떠한 노력을 해야 하며, 자체 보유한 데이터를 효 율적으로 관리하기 위해 재검토할 내용들은 무엇인지 알아봤다. 한 가지 분명한 사실은 빅데이터 지금보다 더욱 증가하면서 이를 해결하기 위 한 다양한 해법들이 제시될 것이다. 그리고 그만큼 기업들은 다 양한 영역에서 비즈니스 성과를 개선할 수 있는 기회를 제공받게 될 것이다.

빅데이터 시대가 현실인 것처럼 기업이 시대 상황에 정면으로 맞설 수 있게 해줄 데이터 통합 기술 도입도 현실이다. 대규모 트 랜잭션 데이터를 새로운 상호작용 데이터와 결합하고 데이터 집 중적 프레임워크의 이점을 잘 활용한다면 기업은 빅데이터가 가 져올 비즈니스 기회를 현실화할 수 있을 뿐만 아니라 데이터 중 심 기업으로 발돋움할 수 있을 것이다.