이호철 팀장/ KTH 융합커머스부 데이터지능팀

“개발자와 코더는 다르다 … 서비스 이해가 필수적”

하둡 관련 시장 성장이 예전만 못한 것 같다.

사실 하둡은 처음 등장했을 때도 새로운 것은 아니었다. 기존의 고객관계관리(CRM)나 검색엔진이라는 이름으로 불려졌던 것이 하둡 에코 시스템 기반의 빅데이터란 용어가 나오면서 주목을 받은 측면이 컸다. 하둡 관련해서 주목해야 할 점은 오픈 소스다. 기존의 RDBMS나 상용솔루션에서 오픈 소스로 전이해 가는 과정에서 하둡 시스템이 중요한 역할을 한 것이다. 사실 그동안 통신, 물류 등에서는 오픈 소스 시스템을 받아들이지 않았다. 오픈 소스가 사후관리나 보안 측면에서 상용 제품에 비해서 신뢰성이 낮았기 때문이다.

그런데 통신, 물류 분야서 오픈 소스 기반 빅데이터 솔루션을 받아들이기 시작하면서 DW가 오픈소스 제품으로 채워지기 시작했다. 이제는 가장 보수적인 금융권도 시장이 열릴 것으로 기대되고 있으며 이에 따른 하둡 관련 개발자들의 수요도 더 증가하리라고 본다.

문제는 전문성을 갖춘 인력을 구하기가 쉽지 않다는 것이다. 현재 KTH의 데이터지능 팀의 개발인력이 15명 정도인데 인력을 일정수준으로 유지하기가 쉽지 않다. 즉, 하둡이라는 용어 자체는 유행이 조금 지났지만 하둡 관련 지식과 경험을 보유한 인력은 꾸준히 시장에서 요구될 것으로 보인다.

하둡을 접하게 된 계기는.

그동안 KTH에서 아이밍 서비스 등 SNS 관련 서비스를 계속 개발했다. 문제가 이러한 서비스가 초창기에는 데이터 분석 없이 ‘감’에 의존한 측면이 있었는데 이를 지양하고 새로운 빅데이터 솔루션의 필요성에 따라 접한 것이 하둡이다. 현재 KTH에는 하둡 기반 빅데이터 솔루션인 ‘데이지(Daisy)’가 있다. 이 제품은 미래창조과학부에서 주관하는 상을 2번이나 받을 정도로 기술력을 인정받았다. 2013년 이후 올레TV에서 실시간 시청률을 분석, 운영하고 있다.

회사와 직무 소개를 한다면.

KTH는 국내에서 VOD 2차 판권을 가장 많이 보유한 회사로서 빅데이터 솔루션을 개발, 보유하고 있다. KT 계열뿐만 아니라 외부 업체에도 솔루션을 공급하고 있다. 본인은 현재 KTH의 개발자로서, 사내에서는 K쇼핑의 이용 로그를 계속 수집, 구매 패턴을 분석해서 추천하는 업무를 하고 담당하고 있다.

하둡 개발자에게 필요한 덕목이 있다면.

우선 오픈 소스를 많이 접해봐야 한다. 아울러 기술만으로 빅데이터 업무를 하는 것은 아니다. 서비스에 대한 경험이 없으면 핵심 개발자가 되기 어렵다. 데이터에 대한 통계 지식과 서비스에 대한 다양한 경험이 필요하다. 데이터를 직관하는 능력이 중요한 것이다. 빅데이터는 클라이언트에 대한 이해가 없으면 제대로 구축할 수가 없다. 즉 개발자와 코더는 구별할 필요가 있다. 하둡 개발자는 서비스 기획자가 될 필요는 없지만 서비스에 대한 이해는 필수적이다.

향후 하둡 기술을 전망해달라.

하둡의 단점은 느리다는 점이다. 따라서 이를 극복하고자하는 노력이 더욱 가속화될 것으로 보이고 기술적 이슈는 ‘실시간(real time)’이 될 것으로 보인다. 우리 회사 역시 이 부분을 집중해서 연구개발하고 있다. 또 기존의 DW도 하둡으로 점차 대체되지 않을까 생각된다. 아울러 특정 기술을 언급하자면 현재 다양한 기술들이 ‘스파트’로 수렴되지 않을까 생각한다. 현재 가장 많이 활용되고 있을뿐더러 속도 측면에서도 장점이 있다.

출처 : 한국데이터베이스진흥원

제공 : 데이터 전문가 지식포털 DBguide.net