우리는 모든 결과를 예측하지 못하지만 더 나은 행동을 이끌어내기 위해 분석한다

과거 스페인 종교 재판에서 건전한 양식과 균형을 갖춘 사람들의 의견은 “이단자들을 너무 많이 태워 죽여서는 안된다.”는 식이었다. 한편 그보다 훨씬 더 극단적이고 상식 밖이라는 평을 받은 사람들의 의견은 “사람을 태워 죽여서는 안된다.”는 것이었다. 무지나 편협함, 불완전한 지식 등은 매우 위험하기 때문에 우리 모두의 문제가 된다. 오늘날 상식이라고 평가 받는 의견들과 중세시대의 지식을 비교한다는 것은 무의미할지도 모르겠다. 더구나 지금은 지식기반 사회라고 말해지는 시대이다. 하지만 정보, 지식, 데이터 등 현대 경제의 토대에 대해 “우리가 정말 정보 기반 경제로 진화했을까”라는 물음을 던진 웬델 베리의 질문에 답하기 위해서는 깊은 고민이 필요하다.

분석에 대한 나의 첫 인상은 순전히 시각적인 것이었다. 기초통계학의 과정 앞 단에서 표본의 도표화 등에 대해 다루고 있기도 하지만 평균이나 분산 같은 이야기들 보다는 산점도나 상자그림 같은 것들이 훨씬 재미있게 다가왔기 때문이 아닐까 싶다. 그렇게 시작된 여정에서 나와 비슷한 부류의 사람들은 통계학 전공자, 통계분석가, 데이터 분석 전문가 등의 이름으로 호칭이 변하더니 드디어 데이터 과학자라는 이름으로 불리고 있다. 물론 데이터 과학자를 정의하는 그 높은 기준을 다 갖추었느냐고 누군가가 묻는다면 즉답을 피하겠지만 어쨌거나 대충 데이터 과학자라고 불린다.

2015년이라는 오늘날의 데이터 분석은 매우 다양한 방식으로 이루어지고 있으며 데이터의 영역 또한 매우 방대하다. 이전에도 산업계 마다 해당 데이터 분석 전문가나 비즈니스 전문가들이 수없이 많이 종사해 왔다. 현재는 데이터 과학자라는 새로운 직업이 요청되고 있다. 데이터의 다양함이나 방대함 같은 이유로 인해 데이터 분석가에게 다양한 지식과 비즈니스 경험 그리고 데이터를 바라보는 시선 등과 같은 능력이 복합적으로 요구되기 때문에 나타난 직업군이 아닐까

감각기관 중에 눈은 정보를 수집하는 능력의 87%를 담당한다. 그러나 눈이 인지하는 것은 진실 혹은 사실과 거리가 멀다고 한다. 종종 눈으로 감지된 현실은 우리의 의식을 현혹시키는 숨은 그림에 지나지 않는다. 예를 들어 우리가 봤다고 믿는 색은 과연 실제로 존재하는 것일까 날이 어둑해질 무렵 밖을 나가보면 색에 대한 믿음이 흔들리게 된다. 태양이 밝게 빛나던 때에는 노랗게 보이던 꽃이나 푸른 잔디밭이 해가 지면 회색으로 변해버린다. 그러나 중요한 것은 눈으로 실제를 보느냐 그렇지 않느냐가 아니라 눈이 감지한 것이 우리의 의식에서 어떻게 구성되느냐다. 우리는 주변의 사물을 모두 봤다고 믿지만 사실은 퍼즐 조각 하나하나만 본 것이다. 그 조각들을 하나씩 붙여서 그림을 완성해 나가는 것이 우리의 의식에서 정보를 완성해 나가는 과정일 것이다.

분석으로 가는 여정에서 우리는 길을 잃기가 쉽다 너무 많은 이야기들을 듣기 때문이다. 그 소란스러움 가운데서 퍼즐의 한 조각들이라 할 수 있는 금융, 마케팅, 제조, ICT, 인문학 같은 것들을 하나 하나 모아서 퍼즐을 완성해가는 과정이 데이터 과학자의 여정이다. 그러나 어떤 그림이 될지 모르는 퍼즐을 맞추어가는 과정에서 데이터 분석의 세계가 우리에게 낯선 것이 되어 버리지는 않았는가 동일한 물음이 실제적 상황에서도 제기된다. 분석은 이론적으로나 베스트 프랙티스에 대한 감탄으로만 남아 있고 구체적 실천에서는 낯선 것으로 되어 있는 것은 아닌가 하는 질문을 던져본다.

많은 사람들이 데이터 과학자에게 요구하는 자질 중 가장 핵심적인 것 하나는 결과에 대한 예측이다. 그리고 그 결과의 정확성이다. 예측한 결과가 잘 맞을 때는 데이터 과학자에게 열광하지만 결과가 맞지 않을 때는 금세 실망을 감추지 못한다. 데이터 과학자에게 요구되는 그 엄청난 자질에도 불구하고 데이터 과학자는 예언자가 아니다. 데이터 분석의 여정에서 잊지 말아야 할 것은 “우리는 모든 결과를 예측하지 못하지만 더 나은 행동을 이끌어내기 위해 분석한다.”라는 말이 되었으면 한다. 조셉 콘래드는 이렇게 말했다. “때때로 우리는 석공이 되고 싶은 때가 있다. 돌을 깨는 데는 의심이 깃들 여지가 없다. 그러나 글을 쓸 때는 페이지마다 의심과 두려움 캄캄한 공포가 있다.” 분석의 여정을 글쓰기에 비추어 보면 “분석을 할 때는 데이터마다 의심과 두려움 캄캄한 공포가 있다.”라고 말할 수 있을 것 같다. 의심과 두려움 속에서 실수를 하고, 일탈을 하면서도 나는 분석의 목적을 향해서 가는 오디세우스적인 여행만이 뜻이 있으며 분석에서 의미를 찾는 사람의 갈증을 식혀준다는 것을 알게 되었다. 목적지는 여정의 의미를 밟혀줄 뿐만 아니라 실패를 받아들일 수 있게 한다.

출처 : 한국데이터베이스진흥원

제공 : DB포탈사이트 DBguide.net