데이터 인사이트
데이터 전문가 칼럼
데이터 전문가가 전하는 데이터 노하우
[빅데이터 분석] 21세기의 비즈니스 연금술사 ‘데이터 사이언티스트’
작성자
관리자
작성일
2020-10-23 13:20
조회
1015
21세기의 비즈니스 연금술사 ‘데이터 사이언티스트’
?|
수많은 데이터 속에서 과학적·통계적 기법이나 예측 모델링 등의 방법으로 효과적인 질문을 찾고, 질문에 부합하는 답을 찾아 기업이나 기관에게 액션이 가능한 가치를 전달해 의사결정을 지원하는 전문가인 데이터 과학자(Data Scientist). ‘포브스’는 미래 최고의 직업 2위로 데이터 과학자를 선정해 눈길을 끌었다. 데이터 과학자라는 용어가 대중 언론매체에 등장하면서 이들은 과연 어떤 역량을 갖춰서 어떤 역할을 하는 사람인지에 대한 관심이 끊임 없이 이어지고 있다. 미래의 전문가로서 떠오르는 데이터 과학자는 어떤 역량을 갖춘 전문가인지를 알아본다.??[필자정보]?임동진 투이컨설팅 상무 ?djlim@2e.co.kr ? |
?
? 1/3의 힘으로 상대를 뛰어넘다
?자본의 한계를 데이터 분석력으로 뛰어넘은 실제 인물을 다룬 영화 ‘머니볼’은 빅데이터 시대의 전주곡이었을까? ‘머니볼’은 IT 업계, 특히 데이터베이스 분야에 몸 담고 있는 사람에게는 큰 영감을 줬던 영화였다.?미국 프로야구계의 만년 최하위 '오클랜드 애슬레틱스' 소속 선수들의 연봉은 뉴욕 매츠의 1/3 수준에 머물렀다. 구단장 빌리 빈(Billy Beane)은 선수 스카우트를 위해 하버드대에서 경제학을 전공한 폴 데포데스터(Paul DePodesta)를 영입한다. 빈과 데포데스터는 선수를 직접 만나 타격감을 보고 재목을 고르는 기존의 스카우트 방식에서 탈피한 접근을 했다. 오클랜드 구단이 갖고 있던 문제 상황을 해결하는 데 적합한 선수를 찾아 팀을 꾸린 것이다. 예를 들면, 단순 타율은 낮지만 특정 상황에서 포볼(베이스온볼)을 골라내는 선구안이 있는 선수를 선별한다. 팀을 재정비한 오클랜드 애슬레틱스는 2002년 메이저리그 최초로 20연승이라는 신기록을 세웠다. 부족한 자본력을 데이터 분석력으로 뛰어넘은 좋은 사례이다.
?
? 환경의 변화
?요즘 IT와 관련되지 않은 일반인도 빅데이터라는 용어를 자주 접할 수 있다. 2000년을 전후로 한 IT의 폭발적인 발전은 스마트폰 열풍을 거치면서 2010년을 전후해 빅데이터 이슈를 가져왔다. 웹2.0으로 대변되는 블로그 등 개인 미디어의 등장은 페이스북, 트위터 등 소셜 네트워크 서비스를 통해 접점에 이르렀다. 이에 따라 기업은 내부의 구조적 데이터뿐 아니라 텍스트나 이미지 등 비구조적 데이터인 외부의 소셜 데이터까지 분석해 단순 인사이트 제공 차원에서 벗어나, 의사결정액션까지 지원하는 시도를 하게 됐다. 이러한 대용량 데이터 분석을 빠르고 용이하게 하기 위한 요구가 하둡과 같은 오픈소스 빅데이터 아키텍처에 대한 개발 열풍을 불러왔다.?
그림 1. 빅데이터 물결에 따른 기업 환경의 변화
?
? 기술의 변화
?데이터에서 금광석을 캐낸다는 분석에 대한 이슈는 1990년대 말에 ‘데이터 웨어하우징’과 ‘데이터 마이닝’ 이슈 때도 등장했지만, e비즈니스와 스마트폰 이슈에 가려져 버렸다. 이 무렵 구글이나 아마존 등은 기하급수적으로 발생하늘어나는 데이터를 분석해 고객의 미래 행동 패턴을 미리 예측하려는 노력을 했다. 더불어 기하급수적으로 늘어나는 데이터를 효과적으로 관리하는 방법을 놓고 고민하게 됐다.?데이터를 관리·활용하는 툴은 발전을 거듭하고 있었지만, 이러한 도구를 이용해 데이터 속에서 의미를 찾아내는 분석 영역에서는 OLAP과 같은 다차원 분석 외에는 특별한 진전을 보이지 못하고 있었다. 오픈소스 기반의 기술 발전과 기업 내 데이터 분석 업무와 수요가 늘어남에 따라 데이터 분석을 전문으로 하는 ‘데이터 분석가’에 대한 수요가 늘어나게 됐다. 컨설팅 기업인 맥킨지 보고서에 따르면, 2018년에는 ‘데이터 분석가’ 공급부족 현상이 발생할 것이라고 한다. 이와 같은 수요를 반증하듯 빅데이터 관련 세미나 등 각종 행사에 대학생의 참여가 눈에 띄게 늘었고, 데이터 분석과 밀접히 관련된 통계학과의 경쟁률이 어느 때보다 높았다고 한다.
그림 2. 기존 분석 vs. 빅데이터 분석
?
그림 3. 2018년이면 수요가 공급 초과
?
?
? 데이터 사이언티스트에게 필요한 역량
?‘데이터 과학자(사이언티스트)’라는 용어는 데이터 관련 업계에서도 그리 익숙한 용어는 아니다. 그만큼 데이터 사이언티스트가 해야 할 역할과 갖춰야 할 역량이 무엇인지에 대해서는 관점에 따라 달라질 수 있다. 그러나 기업이 원하는 데이터 사이언티스트의 모습은 ‘21세기의 비즈니스 연금술사’라고 말할 수 있다. 일반인들이 쉽게 발견할 수 없는 가치(Value)와 진실(Truth)을 빅데이터 속에서 찾아내 비즈니스 경쟁력으로 연결시킬 수 있는 재능을 갖춘 사람이어야 하기 때문이다.표 1. 데이터 싸이언티스트에게 요구되는 자질
?