SSG닷컴, 백화점에서 이마트까지 이어지는 놀라운 쇼핑 경험의 비밀 ‘DW + 빅데이터’

“DW는 장점이 많습니다. 그리고 빅데이터는 만능 열쇠가 아닙니다. 무거운 로직이나 비정형 데이터는 빅데이터가 처리하고 정밀한 모델링은 DW에서 하는 것과 같이 양쪽의 특징을 잘 살리는 것이 중요 합니다.” - 이마트 INFRA팀 장원주 과장

유통 업계는 2014년 현재 새로운 도전에 직면했습니다. 바로 저성장 기조 지속과 유통업에 대한 규제 강화라는 도전 앞에 서있습니다. 시장에서는 옴니 채널에서 해법을 찾고 있습니다. 하루가 멀다 하고 새로운 소비 패턴을 만들어 내는 디지털과 모바일 라이프 스타일의 시대를 맞아 온라인, 오프라인 모두 살아 남을 수 있는 길은 채널 통합 밖에 없다는 공감대가 업계에 형성된 것입니다. 이런 변화 속에서 신세계그룹은 ‘SSG닷컴’을 앞세운 옴니 채널 전략으로 저성장 시대 도래와 유통업 규제 강화에 대한 파고를 정면 돌파하고 있습니다. 신세계그룹은 최고의 쇼핑 경험 제공이란 유통업 본연의 고객 가치를 데이터 분석에 기초한 옴니 채널 서비스로 실천 중입니다.

Business Needs

2014년 1월 SSG닷컴이란 브랜드가 등장했습니다. SSG닷컴은 신세계몰, 이마트몰 등 신세계그룹의 온라인 몰이 통합된 쇼핑몰 입니다. 유통가에서는 SSG닷컴의 출범을 온라인, 오프라인 통합 옴니 채널(Omni-Channel) 시대의 서막이 오른 것으로 보고 있습니다.

옴니 채널은 시장에서 뜨거운 감자로 회자된 지 오래지만 실체가 모호했습니다. 온라인 쇼핑몰과 오프라인 매장을 유기적으로 연결하려면 사전에 갖추어야 할 것들이 많습니다. 대표적인 것이 고객 데이터 통합입니다. 일례로 고객이 자신의 장바구니에 온라인, 오프라인, 모바일 구분 없이 자유롭게 물건을 담을 수 있다는 것은 데이터 플랫폼이 하나란 소리입니다. 하지만 이런 경계 없는 서비스를 제공하는 곳은 없습니다. 실제로 여러 유통 채널을 가진 대형 사업자들은 보통 채널 별로 IT 시스템을 운영합니다.

옴니 채널을 실천에 옮기려면 모든 고객 정보가 연결되어야 합니다. 고객이 언제, 어디서, 무엇을 구매했건 관계 없이 소비자의 손 끝과 발 끝을 따라 기록이 남아야 합니다. 이게 가능해야 매장에서 제품을 보고 온라인에서 사거나(Showrooming)나 역으로 온라인에서 충분히 알아본 후 매장에서 구매(reverse-showrooming)하는 등 변화무쌍한 고객의 쇼핑 동선과 소비 패턴을 따라갈 수 있습니다. 문제는 온라인, 오프라인에서 고객의 구매 성향을 일관성 있게 파악하게 위한 데이터 통합이 말처럼 쉽지 않다는 겁니다. 신세계그룹이 택한 문제 해결 방식은 새로운 통합 브랜드인 SSG닷컴(ssg.com)을 출범하는 것이었습니다.

신세계그룹은 옴니 채널에서 유통의 미래를 봤습니다. 그리고 옴니 채널의 혜택을 고객에게 전하기 위해 SSG닷컴 출범을 결정했습니다. SSG닷컴 오픈을 준비하는 과정에서 신세계그룹은 과거 개별적으로 관리되었던 고객 데이터를 자연스럽게 통합하였습니다.

물론 기존에도 고객 데이터 통합은 가능했습니다. 엔터프라이즈 데이터웨어하우스(EDW)를 통해 웹 로그 등 필요한 것이 있으면 배치 작업을 통해 가져가 분석할 수 있는 환경이 갖추어져 있었습니다. 신세계그룹은 내보내고 가져오는 방식은 옴니 채널에 어울리지 않는다고 판단하고 통합을 결정했습니다.

한편 SSG닷컴 출범을 준비하면서 신세계그룹 전략팀에서는 신세계몰, 이마트몰 등 온라인 채널의 중복된 마케팅을 일원화 하는 방안도 찾았습니다. 각 사이트 별로 진행하던 기획전, 이벤트를 단일 조직, 단일 고객 데이터 환경에서 일원화 할 수 있는 기회를 SSG닷컴에서 찾은 것입니다.

Solution

신세계그룹은 2012년 SSG닷컴 오픈을 준비할 태스크포스 팀을 만들어 신세계몰, 이마트몰 등 계열사 인력들을 한 지붕 아래 모았습니다. 기획 담당자들은 고객 관점에서 옴니 채널 전략을 구체화 하는 역할을 맡았고, 데이터 담당자들은 고객 정보 통합과 빅 데이터 시대에 대비한 아키텍처 설계에 대한 과제를 담당했습니다. 태스크포스팀에 모인 데이터 전문가들은 설계 단계부터 데이터웨어하우스(DW)와 빅 데이터를 단일 아키텍처 상에 녹이는 방안을 고심했습니다. 데이터 담당자와 애플리케이션 담당자가 ‘고객 데이터 분석’이라는 공동의 목표 아래 설계 단계부터 머리를 맞댄 것입니다.

새로운 데이터 플랫폼 그것도 DW와 빅 데이터가 통합된 구조를 그리다 보니 솔루션 선정에 매우 까다로운 잣대가 적용되었습니다. 성능, 확장 등 전통적인 도입 기준만 적용할 수 없었습니다. 태스크포스팀은 거의 1년 가량 시장에 나와 있는 다양한 솔루션을 검토했습니다. DW 솔루션은 다섯 손가락 안에 꼽히는 글로벌 기업들의 DW 어플라이언스들이 평가 대상에 올랐습니다. 빅 데이터 쪽은 상용 솔루션부터 오픈 소스까지 두루 검토가 이루어졌습니다. 1년 가까이 솔루션 검토에 공을 들인 태스크포스 팀은 DW와 빅 데이터 통합 구조에 어울리는 솔루션이 가져야 할 특징과 요소가 무엇인지를 구분할 수 있는 혜안이 생겼습니다.

태스크포스팀은 DW와 빅 데이터가 유기적으로 연동 되려면 개발의 복잡성을 줄이는 것 그리고 데이터를 배치의 개념이 아니라 연계의 개념으로 상호 참조할 수 있어야 한다는 기준을 잡았습니다. 이에 가장 잘 부합하는 솔루션 조합은 마이크로소프트 SQL Server 2012 PDW와 아파치 하둡이었습니다. 태스크포스팀 눈에 비친 DW 어플라이언스의 성능은 대동소이했습니다.

반면에 DW와 빅 데이터 연계는 차이가 컸습니다. 2013년 당시 벤치마크테스트에 참여한 업체들이 제안한 것은 모두 커넥터 방식이었는데 마이크로소프트 PDW는 PolyBase로 단순 연결보다 진일보한 멀티 데이터 소스간 연계(join)를 지원했습니다. PDW의 경우 DW 테이블과 빅 데이터 테이블 간 join 쿼리를 수행하면 PDW 자원뿐 아니라 빅 데이터 자원까지 활용할 수 있었습니다. 또한 자원 할당 계획 작업을 PDW 가 주관할 수 있는 관리 확장성(Ver3부터 지원)도 지원 되었습니다. 이는 데이터 저장과 처리가 어느 곳에서 이루어지건 관계가 없음을 의미합니다. 또한 DW에 담을 수 없는 빅 데이터의 연계 활용을 DW 기술로 접근할 수 있음을 뜻하기도 합니다. 당연히 대용량 데이터 처리에 있어 DW에는 부하가 가지 않습니다.

개발 역시 SQL Server 2012 PDW와 아파치 하둡 조합은 복잡하지 않고 평소 쓰던 툴을 쓰면 되는 그런 편리함을 보장했습니다. 실제로 DW 담당자는 기존의 T-SQL언어로 쿼리분석을 하거나 SQL Server Analysis Services로 다차원 분석을 하면 되고 빅 데이터 담당자는 R 언어와 머하웃(Mahout)을 쓰면 됩니다.

DW와 빅데이터 환경은 서로 간에 저장 공간, 사용 빈도, 연산 부하를 고려해서 적절한 곳에 데이터를 저장하고 필요 시에 Polybase를 사용하여 자유롭게 데이터를 주고받습니다. 배치를 통해 양 쪽에서 데이터를 내보내고, 가져올 필요가 없습니다. 이런 이유로 SSG닷컴의 새로운 데이터 플랫폼은 PDW와 하둡으로 큰 틀이 짜였습니다.

DW를 중심으로 한 온라인 채널의 고객 데이터 통합과 빅 데이터 구현을 하는 가운데 태스크포스 팀은 현업 부서와 분석 전문가를 위한 비즈니스 인텔리전스(BI)와 데이터 시각화 관련 개발도 진행하였습니다. BI와 데이터 시각화에는 PowerPivot, PowerView, SharePoint Server, Silverlight 등 마이크로소프트 기술이 사용되었습니다.

신세계그룹의 태스크포스팀은 2013년 하반기 데이터 통합, 빅 데이터 구현, BI 체제 정비를 마치고 2014년 1월 SSG닷컴을 오픈했습니다.

Benefits

샘플이 아니라 전체 데이터로 분석

PDW와 빅 데이터 기반이 갖추어지면서 SSG닷컴 데이터 관리자들이 더 이상 하지 않는 말이 있습니다. 바로 “데이터가 너무 많아서 안 돼요”란 답변입니다. SSG닷컴 조직에서는 더 이상 이런 말이 오가지 않습니다. 기획서의 내용이 무엇이건 데이터 담당자는 긴장하지 않습니다. 데이터의 양과 시간을 더 이상 걱정할 필요 없기 때문입니다.

이와 관련해 이마트 INFRA팀 빅 데이터 개발을 담당하는 김훈동 과장은 “예전에는 이마트몰을 방문하는 고객의 장바구니 분석을 할 때 분석자가 샘플을 가지고 작업 했습니다. 상품 테이블의 행 수와 회원 테이블의 행 수가 각각 수천 만에 달하다 보니 전체 데이터를 넣고 분석하는 것은 생각도 안 했습니다”라고 말했습니다.

전체 데이터를 분석하려면 마이닝 서버를 수십 대 증설해야 하는데 아무리 대기업이라 해도 그 비용을 다 감당할 수는 없습니다. 하지만 이제는 전체 데이터 분석 요청도 걱정하지 않습니다.

김훈동 과장은 “이제는 샘플이 아니라 전체 데이터를 가지고 분석을 합니다. 무거운 작업은 빅 데이터 환경에서 전 처리를 하고 결과를 참조해 DW에서 정밀한 후 처리를 합니다”라며 “그 결과 분석자는 전체 상품과 회원 데이터를 가지고 좀더 정밀하고 개인화된 장바구니 분석을 할 수 있게 되었습니다”라고 덧붙여 설명했습니다.

이처럼 전체 데이터를 가지고 정밀한 분석을 할 수 있는 이유는 DW와 빅 데이터가 각자의 특징을 살리는 가운데 유기적으로 연결되어 있기 때문입니다. 이와 관련해 이마트 INFRA팀 장원주 과장은 “DW는 장점이 많습니다. 그리고 빅데이터는 만능 열쇠가 아닙니다. 무거운 로직이나 비정형 데이터는 빅데이터가 처리하고 정밀한 모델링은 DW에서 하는 것과 같이 양쪽의 특징을 잘 살리는 것이 중요 합니다”라고 말했습니다.

진정한 옴니 채널 서비스

PDW와 하둡은 SSG닷컴이 옴니 채널 관점에서 고객을 바라볼 수 있는 혜안을 주었습니다. 온라인 고객과 오프라인 고객의 특성은 크게 다르다는 것이 유통 업계에 오랜 기간 내려온 정설입니다. 이 정설을 깨는 것이 바로 옴니 채널의 목표이지 지향점입니다. SSG닷컴은 PDW와 하둡 환경을 잘 활용해 온라인과 오프라인 접점을 연결해 고객을 이해하기 위한 다양한 시도들을 하고 있습니다.

넉넉한 동시접속자 처리 성능

PDW는 고객 정보 분석을 하는 모든 이들의 업무 편의도 높여 주었습니다. PDW 도입 이후 달라진 풍경으로 무거운 데이터 조회와 분석 때문에 주말에 따로 시간을 내 사무실에 오는 이들이 사라졌다는 것입니다. SSG닷컴 내부 BI시스템은 현재, 동시에 여러 명의 내부 사용자고 업무 중 상시 시스템을 사용하고 있습니다. 기존 환경에서는 동시접속자 처리 속도가 만족스럽지 못했습니다.

이와 관련해 장원주 과장은 “예전에 신세계에서 쓰던 환경에서는 사용자가 늘면 속도가 현격히 저하되었습니다. 보고 싶은 데이터가 많은 경우, 접속자가 없는 주말에 따로 나와 일을 하는 것이 마음 편할 정도였다고 합니다. 하지만 PDW는 동시 접속자 처리 면에서 만족할만한 성능을 보여주고 있습니다”라고 말했습니다.