데이터 사이언티스트 멘토가 통계학과 대학생 멘티에게 2회

“마음 닿는 곳에 길이 있다”회

데이터 사이언티스트를 꿈꾸는 고려대 통계학과 3학년 이준기 군. 이 군이 베가스 대표 분석 컨설턴트인 이윤모 박사를 만나 데이터 사이언티스트의 세계에 대해 여러 이야기를 나눴다.

멘토 이윤모(데이터 사이언티스트, 베가스 대표 컨설턴트, 통계학 박사)
멘티 이준기(고려대 통계학과 3학년, 대학연합 빅데이터 동아리 ‘보아즈’ 회원)

Click!! ▶ 데이터 사이언티스트 멘토가 통계학과 대학생 멘티에게 1회

비정형 데이터 분석까지 하려면 정말 많은 걸 알아야 할 거 같아요.

질문처럼 빅데이터가 인기를 끌면서 텍스트 분석 같은 비정형 데이터 분석을 요청하는 경우가 늘어났습니다. 베가스의 경우, 이미지 데이터 분석은 하는데 텍스트 데이터 분석은 하지 않습니다. 텍스트 데이터까지 분석하려면 ‘사전’ 구성까지 고민해야 하기 때문입니다. 그 영역은 데이터 분석가들이 쉽게 갈 수 있는 영역이 아닙니다. 텍스트 분석을 전문적으로 하는 기업들은 각자 자신들이 잘 하는 분야의 ‘사전’ 구성 등을 해 놓은 상태에서 어떻게 분석하는지에 대한 답을 제시하는 곳이라고 볼 수 있어요.

모든 영역을 다 분석할 수 있는 거 아닌가요?

그러기 위해서는 조직이 커져야 하는 반면, 전문 영역으로의 집중이 어려워집니다. 빅데이터 분석은 영역이 방대하다 보니 관련된 영역 모두를 깊게 들어가기가 쉽지 않아요.

영역이 넓다 보니, 요즘 빅데이터 교육과정이나 대학원, MBA 과정 등에서는 빅데이터 분석이 무엇인지를 경험하는 데 커리큘럼이 맞추어져 있는 모습도 발견됩니다. 그렇게 하다 보면, 깊은 곳에 들어가 보지 못하고 물 위에서만 머물기 쉬워집니다. 데이터 사이언티스트를 많이 배출해야 한다는 욕망 때문에 이런 현상이 나오지 않았을까 하고 생각합니다.

요즘 전공 수업에서 기계학습을 배우고 있어요. 빅데이터 분야가 RDB 관리나 네트워크 관리만큼 프로세스가 갖춰지지 않은 것처럼 보입니다. 그래서 자바와 리눅스를 더 배워보고 싶은데요. 전반적으로 어떤 지식을 갖춰야 하는지요? 인터넷 검색을 해 보면, 분석전문가는 R뿐 아니라 자바나 파이썬 등의 프로그래밍 언어도 알아야 한다고 소개하고 있었습니다. 저도 자바 언어와 리눅스 를 체계적으로 공부해 보고 싶은데 시간이 없어요.

내게 어떤 영역이 맞는지를 알아 보고, 일단은 ‘빅데이터 기술’과 ‘빅데이터 분석’ 둘 중에 하나를 선택할 필요가 있다고 봅니다. 빅데이터 아키텍처 등 기술 측면으로 집중할 것인지, 분석 분야에 집중할 것인지를 결정해야 합니다. 둘 다 할 수 있으면 좋겠지만, 시간이 허락하지 않기 때문에 집중할 분야를 먼저 선택하자는 겁니다. 통계학을 전공했으니 분석 역량을 키우겠다면, 학부에서 수리통계, 확률론 등을 몇 학기에 걸쳐 배울 것입니다.

학교에서 배운 지식으로 데이터 분석 실무에 들어가면, 말 그대로 머리가 하얘집니다. “뭐부터 해야 하지, 배우긴 배웠는데?” 하는 생각이 들 거에요. 그런 과정을 거치면서 프로젝트를 한두 번 해보면 “아 이렇게 접근하는 구나” 하고 뭔가 할 수 있겠다는 자신감이 어렴풋이 들 겁니다.

이때 정말 중요한 게 하나 있어요. 분석가로서 내게 더 요구되는 지식이 무엇인지를 스스로 깨닫게 되는 포인트가 생길 겁니다. 남들이 아는 수준으로 해서는 안 되는 지점을 분명히 만나게 되는 거지요. 통계학을 제대로 공부해야 하는 이유를 절감하는 순간이라고 해야 할까요(^^).

데이터 분석 업무의 특징을 비유를 통해 설명해 주시면 이해가 쉬울 거 같아요.

환자를 진찰/진단(분석)하여 치료(대응책 제시)하는 의사의 일과 비슷하다고 볼 수 있어요.

비슷한 나이, 비슷한 신체 조건의 환자가 감기 증상으로 내원하더라도 환자의 상태는 다를 겁니다. 환자들의 몸이 다 다르기 때문이죠. 개인적인 차이가 상태의 차이를 만드는 셈이지요. 데이터 분석도 마찬가집니다. 비슷하기는 하지만, 같은 공장에서 생산된 동일한 제품이더라도 생산라인에 따라 데이터가 다르게 다르게 나와요.

그런 현상을 어떻게 봐야 할까요? 의사들도 마찬가지가 아닐까요? 진찰/진단한 결과 처방이나 수술 방법은 비슷할 겁니다. 하지만 수술이나 치료가 끝났을 때는 징후가 달라집니다. 회복 시간과 5년 후 생존률 등 여러 비교 자료의 결과가 다를 겁니다. 말하자면 같은 종류의 위암이라고 하더라도 사람마다 신체조건이 다 다르기 때문에 예후도 다르게 나옵니다.

데이터 분석도 비슷합니다. 동일 업종의 A사에 적용했던 수요 예측방식을 B사에게 그대로 적용할 수 없어요. 물론 기법들을 그대로 가져다가 쓸 수는 있겠지요. 하지만 시장 상황과 경쟁관계 등을 비롯해 해당 업체의 핵심 비즈니스 요소 등을 달리 적용해서 수요 예측을 해야 하는 것이죠. 그래서 데이터 분석은 인고의 과정이라고 할 수 있습니다.

데이터 분석가는 여러 영역을 골고루 알아야 한다고 하는데 무엇 때문인가요?

앞서 얘기했듯이, 데이터 분석은 기술 전문가와 시각화 전문가, 분석 전문가 등이 모여서 팀 프로젝트 형태로 진행되기 때문입니다. 결국 소통을 해야 한다는 말인데 그러려면 깊게 알지는 못하더라도 팀원들이 어떤 일을 하는지는 알고 있어야겠지요. 데이터가 왜 그렇게 구성돼야 하는지를 IT 측면에서 알아야 하는데, 이런 특성 때문에 주변 영역까지 관심을 가지라는 겁니다. 그러다 보면, 아마도 끝이 없을 거라는 느낌이 들 거에요(^^). 한계가 있을 수밖에 없으므로 자신 스스로 할 수 있는 영역과 할 수 없는 영역을 정리해야 하는 상황도 만나게 될 거고요. 정리하고 나면, 어디에 집중해야 할지를 결정해야 하는 것은 당연한 일이고요.

데이터 분석가로서 일하면서 가장 어려웠던 순간과 즐거웠던 순간이 있었을 텐데요.

어려운 건 잘 잊어버리는 성격입니다. 늘 어려운 게 사실이므로 지금 하는 일이 가장 어렵다고 해야 할까요. 즐거웠던 순간은 하는 일을 끝냈을 때입니다.

기억에 남는 순간이 있었다면 소개해 주세요.

최근 한 회사로부터 POC 요청을 받아서 3주 동안에 걸쳐 분석 프로젝트를 진행한 적이 있어요. 물량 예측분석 프로젝트인데, 동시에 하지 않고 참여 업체별로 순서를 정하여 3주에 걸쳐 하더군요. 베가스에 앞서 국내 대기업이 분석가들을 데리고 진행했습니다. 주어진 3주의 일정보다 시간을 더 써서 진행했다고 들었습니다.

그 회사가 결과 발?이 되었습니다. 저희는 첫 일주일을 분석 작업에 들어가지 않고 데이터를 내려 받은 후, 데이터만 열심히 들여다 보았습니다. 고객이 얼마나 불안해 했는지 모릅니다. 왜냐하면 대기업도 주어진 3주보다 시간을 더 써서 분석 결과를 내 놓았는데 베가스 같은 조그마한 업체가 분석작업에 바로 뛰어 들기는커녕 데이터만 열심히 보고 있으니 얼마나 몸이 달았겠습니까.

아무튼 저희는 3주 안에 저희 스스로도 만족스러운 결과물을 고객에게 제공할 수 있었습니다. 그리고 경쟁했던 다른 회사들보다 결과도 좋았구요.

분석 프로젝트 수행 시 박사님만의 노하우나 비법이 있을 거 같은데요?

저희 회사는 데이터 분석 프로젝트에 들어가면, 아무리 일정이 바빠도 바로 분석에 들어가지 않습니다. 전체 시간의 30%를 데이터를 이해하는데 쓰지요. 그러면 데이터가 뭔가 얘기를 걸어오기 시작합니다. 이런 저희의 모습을 보는 고객사 담당자들은 의아해 합니다. 물론 앞서 소개했던 예측 POC 프로젝트에서도 마찬가지였지요. 주어진 3주 중에서 1주도 동안 분석하지 않고 데이터만 쳐다보고 있으니 이상하지 않겠어요(^^).

분석가로 활동하려면 석사 이상의 학력이면 좋겠다고 하셨는데, 베가스에는 학사 출신의 직원은 없나요?

아닙니다. 절반은 학사 출신입니다.

데이터 분석 전문가들에 대한 수요가 늘어날 것이라고 생각하나요?

예, 천천히 늘어날 것이라고 생각합니다.

대학생들을 만나다 보면, ‘이 학생은 데이터 분석가로서 어울리는 유형’이라는 떠오를 때가 있지 않나요?

한 눈에 알 수 있을 정도라면 ‘도사’나 이에 근접한 사람이 아니겠어요(^^). 수업 준비를 철저히 해오고 강의에 집중하는 학생이 그런 학생이지 싶습니다. 뭔가 의미를 발견하여서 파고들 마음이 생긴 겁니다.

출처 : 한국데이터베이스진흥원

제공 : 데이터 전문가 지식포털 DBguide.net