빅데이터 분석팀은 어떻게 구성해야 할까

이번 회에서는 소셜 빅데이터 분석을 위한 본격적인 논의를 하기 전에, 먼저 빅데이터 프로젝트 수행을 위한 팀 구성에 대해서 살펴볼까 합니다.

사실 이상적인 팀을 위한 정답은 없습니다. 다만 여러가지 관점에서 빅데이터 프로젝트 팀을 위한 조언들이 있어 함께 살펴 보고자 합니다.

델에서는 빅데이터 프로젝트를 위한 팀 구성에 대해 소프트웨어 엔지니어, 빅데이터 아키텍트, 비즈니스 분석가, 컴퓨터 시스템 분석가 이렇게 4가지 종류의 역할로 구성이 되어야 한다고 조언하고 있습니다. (제 생각하고는 조금 다릅니다^^)

소프트웨어 엔지니어 (Software Engineer)

빅데이터 분석을 위해 필요한 정보 시스템을 설계하고 개발하거나, 필요한 소프트웨어 도구들을 설치하고 분석 환경을 구축하는 일을 합니다. 주로 전산학이나 MIS 전공을 하신 분들이 적합합니다. 정보 분석과 소프트웨 프로그램에 대한 숙련된 기술이 필요합니다.

빅데이터 아키텍트 (Big Data Architect)

준비된 소프트웨어 도구와 환경을 이용해서 데이터를 저장 및 관리하고, 재무정보와 고객 배송 정보들과 같은 데이터들을 체계적으로 관리하는 일을 합니다. 또한, 분석가들이 해당 데이터들에 접근하는 것이 가능한지, 혹은 권한이 없는 사용자들로 부터 안전하게 데이터가 보호되고 있는 지에 대한 책임을 집니다. 역시 전산학이나 MIS 전공을 하신 분들이 적합합니다. 데이터 베이스나 데이터 웨어하우스를 구축하고 관리할 수 있는 역량이 필요합니다. 또한, 데이터 처리와 분석에 대한 고도의 전문성이 요구됩니다.

비즈니스 분석가 (Business Analyst)

데이터 분석을 통해 조직의 혁신을 어떻게 이끌어 낼 것인지를 연구하는 일을 담당합니다. 데이터 분석을 통해 어떻게 하면 조직의 이익을 최대화하고 비용을 최소화할 수 있을 지와 같은 경영적 조언을 하는 역할입니다. 주로는 MIS 전공을 하신 분들이 적합합니다. 커뮤니케이션, 문제해결, 의사결정, 관리, 협상, 설득 등과 같은 통상적인 경영 컨설팅에서 필요한 역량과 함께 공학적 기술, 분석 기술 등 데이터 분석에 대한 역량이 필요합니다.

컴퓨터 시스템 분석가 (Computer System Analyst)

현재의 컴퓨터 시스템와 업무 절차를 연구하고 체계화하여 조직이 좀 더 효과적이고 효율적으로 업무 처리가 가능하도록 관리하기 위해 개선해야 할 일에 대한 자문을 담당합니다. 사업적 관점과 컴퓨터 시스템적 관점을 동시에 가지고 있어야 하며, 필요한 것들과 한계적 상황에 대한 명확한 이해가 가능해야 합니다. 전산학이나 MIS 전공의 석사 이상의 학력자들이 적합합니다. 분석적 커뮤니케이션과 창작력 그리고 팀워크 구성 능력을 요구합니다.

피어스마켓의 피어스빅데이터에서는 또 다른 관점의 역할 구성으로 팀 구성에 대한 조언을 하고 있습니다. 피어스빅데이터에서는 데이터 위생사, 데이터 탐험가, 비즈니스 솔루션 아키텍트, 데이터 과학자, 캠페인 전문가 등 5종류의 역할을 구성할 것을 권고하고 있습니다.

데이터 위생사 (Data Hygienists)

데이터의 정제 상태와 정확도 등 품질을 담당합니다.

데이터 탐험가 (Data Explorers)

빅데이터 프로젝트에서 실질적으로 필요한 데이터가 어떤 데이터인지 탐색하여 식별하는 일을 담당합니다.

비즈니스 솔루션 아키텍트 (Business Solution Architects)

분석 대상 데이터로 식별된 데이터들을 하나로 융합시키고 조직화하여 분석 가능한 상태로 만드는 일을 담당합니다. 분석 가능하다는 것은 분석된 결과를 사용하려는 모든 사용자들이 적시에 분석 결과를 이용할 수 있도록 질의될 수 있는 형태로 구조화되어 있음을 말합니다. 데이터의 용도에 따라서 수 초, 수 분 혹은 수 시간 내에 활용 가능해야 하며, 이를 위한 갱신 주기 등도 관리되어야 합니다.

데이터 과학자 (Data Scientists)

빅데이터 프로젝트를 위한 분석 모델을 구성하고 이에 맞추어 데이터를 조직화합니다. 그리고 필요에 따라서는 지속적으로 모델을 개선하고, 갱신하고, 교체하는 일을 담당합니다.

캠페인 전문가 (Campaign Experts)

빅데이터 분석 결과를 해석하여 시사점을 파악하고 실행 가능한 정책적 대안을 도출합니다. (캠페인 전문가는 빅데이터 분석 결과를 마케팅 관점에서 활용하는 분야에 특화시킨 용어로 이해됩니다.)

또한 히다찌의 데이터 시스템 회사인 펜타호에서는 빅데이터 프로젝트 팀 구축을 위해 다음과 같은 5가지 조언을 하고 있습니다.

- 빅데이터 프로젝트의 목표를 명확히 하고, 작은 것부터 시작하는 것을 두려워 하지 말아야 합니다. 목표와 기대되는 ROI에 대해서 초기에 명확한 합의를 이끌어내지 못할 경우에는 부적절한 기술을 적용하거나, 경영진의 부족한 지원을 초래하는 등 자칫하면 처음부터 실패의 위험을 내포하고, 팀만 고생시키는 형태로 일이 진행될 수 있습니다.

- 해결하고자 하는 문제와 조직 문화를 고려해서 신중하게 기술을 선택해야 합니다. 최신의 기술 트렌드를 맹목적으로 추구하기 보다는 조직이 실행가능한 익숙한 기술과 도구들을 중심으로 해결하고자 하는 문제에 직접적으로 도움이 될 수 있는 방법을 찾는 것이 현명합니다.

- 교차 기능 팀 환경에서 핵심 인물을 식별해야 합니다. 빅데이터 프로젝트는 속성 상 다양한 전문성을 가진 사람들이 함께 일하는 교차 기능 팀에 의해 수행될 가능성이 큽니다. 그러므로, 각각의 업무 역할별로 누가 핵심 인물인지를 명확히 식별하여 배치하는 것이 중요합니다. 이때 고려할 핵심역할로는 임원급 후원자, 비즈니스 사용자, 주제 전문가, 데이터 과학자, 데이터 엔지니어 혹은 소프트웨어 엔지니어, 데이터 저널리스트, 플랫폼 혹은 시스템 설계자, IT 혹은 운영 관리자 등이 있습니다.

- 인력과 기술력을 최대한 활용할 수 있는 창의력을 발휘해야 합니다. 완벽한 수행 조직과 환경이라는 현실적이지 못한 팀 구성을 시도하기 보다는 현재의 실행 인력과 기술력을 최대한 활용할 수 있는 다양한 방법을 강구해야 합니다.

- 미래 상황을 고려해야 합니다. 모든 것을 조직 내에서 구축하려 하지말고 점점 더 확산되고 있는 클라우드 환경을 이용하는 것을 고려해 봐야 합니다. 또한, 현재의 프로젝트 결과물이 단지 일부 내부 사용자들이 아닌 조직 전체에서 혹은 더 나아가 고객에게 제공되는 제품에 적용될 수도 있다는 전제하에 충분히 만족스러운 통찰력을 제공할 방법을 찾아야 합니다. 마지막으로 빅데이터를 통해 문제를 해결하고자 하는 사람들 특징을 고려해야 합니다.

빅데이터라는 용어 자체가 광범위하고, 다양하게 사용되는 상황인 것 처럼, 빅데이터 프로젝트 팀의 구성도 매우 다양하게 이해될 수 밖에 없습니다. 하지만 그러한 다양함 속에서도 공통적인 부분은 데이터를 분석한 결과를 이용해서 비즈니스를 개선하는 것과 이러한 일을 기술을 통해 자동화하는 것이 필요하다는 것입니다.

그러므로, 빅데이터 프로젝트에서는 ‘데이터- 기술- 비즈니스’라고 하는 3가지 핵심적인 요소들을 고려해야 하고, 각각의 요소니스의 궁극적인 성공을 이끌기 위해서는 적시성, 한정된 자원, 고객 가치 등 비즈니스의 특성을 잘 살펴야 합니다.

자 여러분. 여러분들의 데이터를 똑똑하게 만들기 위해서 여러분에게는 어떤 팀이 필요할까요

출처 : 한국데이터베이스진흥원

제공 : 데이터 전문가 지식포털 DBguide.net