KSNET

차세대 지불 결제 시장 선도 위해 DW 환경 대대적으로 업그레이드

“매일 같이 발생하는 거래 데이터를 야간 시간대를 이용하여 DW에 가공, 적재해 다음 날 분석 담당 직원들이 이용할 수 있도록 해야 하는데 Microsoft SQL Server 2012 PDW 도입 후 배치 처리 시간이 1/2로 대폭 단축되었다. 또한 시스템이 바뀌어도 현업 사용자들이 관심을 가지는 경우가 적은데 DW 어플라이언스 도입 후 여러 분석 담당 직원들이 분석 소요 시간이 월등히 빨라져 업무 처리에 큰 도움이 된다며 감사의 뜻을 전하기도 했다”
- KSNET 정보기술본부 황현욱 차장

카드 결제중계서비스(VAN), 금융 VAN, 각종 부가 서비스, 가맹점 관리 서비스 등을 제공하는 종합 지불 결제 업체인 KSNET이 차세대 DW를 본격 가동하였다. KSNET은 하루 1.5 억 건 이상의 데이터 배치 처리 및 이들 데이터에서 의미 있는 비즈니스 정보를 도출하기 위해 2007년 DW 시스템을 구축하였다. 데이터에 대한 접근성과 분석의 편의성이 확보되면서 KSNET에서는 데이터 중심의 의사결정이 일상화 되었고 더불어 데이터 분석 수요가 늘어갔다. 여기에 더해 신규 서비스 시장 진출이 이어지면서 처리해야 할 데이터 종류와 양이 모두 증가해 갔다. 이런 변화에 대응하기 위해 KSNET은 2009년을 전후하여 DW 어플라이언스 도입 검토에 착수하였다. 성능, 확장성, 경제성 세 가지 관점에서 중장기적인 조직의 분석 요구를 수용하자는 기준을 가지고 솔루션 검토에 나선 KSNET은 구 DW 시스템 교체 주기에 맞춰 SQL Server 2012 Parallel Data Warehouse (PDW) 기반 HP 장비 도입을 결정하였다. 이는 범용 서버와 스토리지로 높은 비용 대비 성능을 보여주었을 뿐 아니라 KSNET이 BI 플랫폼으로 활용하고 있는 MicroStrategy와의 통합성과 향후 빅 데이터 수용까지 감안한 선택이었다. 이를 통해 야간 데이터 배치 작업 시간과 함께 현업 사용자들이 원하는 분석결과 입수 시간 모두를 줄이는 성과를 거두었다.

Business Needs

KSNET은 1994년 신용카드 결제중계서비스(VAN) 사업을 시작으로 현금영수증, 전자화폐, 전자상거래 등 시장의 변화에 발 맞추어 차세대 지불 결제 시장을 선도해왔다. KSNET이 시장을 이끌어 온 힘은 업계 최고 수준을 자랑하는 지불 결제 처리를 위한 IT 인프라와 서비스 처리 성능 그리고 차별화된 IT 투자 전략에서 나온다. 이런 남다른 역량에 KSNET이 최근 몇 년 사이 한 가지를 더해 화제를 모으고 있다. 바로 대용량 데이터에 대한 고성능 분석 역량 강화이다.

KSNET이 데이터 분석의 중요성에 눈을 뜬 것은 2000년대 중반부터였다. KSNET은 카드결제, 인터넷 지불, 전자 금융 서비스를 이용하는 가맹점과 기업 고객 그리고 금융기관 사이에 오가는 대량의 금융 거래를 처리한다. 현재까지도 고객의 증가와 신규 서비스 등장으로 트랜잭션은 꾸준히 늘고 있는 추세다. 당시 KSNET은 자사의 서비스 인프라를 기반으로 하는 다수의 지불결제 서비스와 이를 이용하는 기업 및 가맹점 고객 간에 복합적인 데이터 요청과 분석수요가 큰 폭으로 증가하게 되었으며, 수시로 변하는 비정형 분석요구 또한 증가하게 되었다. 이러한 데이터 분석 요구 폭증에 대한 효율적인 대응 방안을 고심하던 KSNET은 2007년 데이터웨어하우스(DW) 구축에 나섰다.

데이터 중심의 의사결정 구조를 갖추고 이를 통해 고객, 실적, 마케팅 캠페인 결과 등 현업 사용자들이 필요로 하는 다양한 분석 서비스를 제공하겠다는 목표를 세운 KSNET은 DW 데이터베이스로 Microsoft SQL Server 2005를 그리고 분석 플랫폼으로 MicroStrategy 8을 도입했다. DW 구축을 통해 다양한 분석 정보들이 현업 사용자들의 손에 전달되면서부터 변화가 하나 둘 일기 시작했다. 과거 IT 부서에 필요 정보를 일일이 요청할 필요 없이 분석 플랫폼을 통해 현업이 직접 데이터에 접근할 수 있는 편의성이 높아지면서 분석이 일상화 되었고 그 결과 가맹점에 대한 관리와 지원 그리고 신규 서비스 개발을 함에 있어 데이터가 적극 활용되기 시작했다.

DW 사용이 활성화 되고 데이터 기반 의사결정이 조직 문화로 자리잡으면서 KSNET은 성능과 용량이라는 두 가지 도전 과제에 직면하게 된다. 이와 관련해 KSNET 관계자는 “DW 사용이 활성화 되면서 보고서 양식도 많아지고 신규 서비스 제공 등 비즈니스 변화에 따라 새로운 데이터 분석 요구도 늘게 되었다”라며 “2007년 구축한 DW의 경우 처음 5테라바이트(TB) 규모로 구축했다가 중간에 스토리지 용량을 추가했지만 앞으로 늘어나는 수요를 따라가기에는 부족함이 있을 수 있다고 보고 고성능 대용량 DW 어플라이언스 도입에 관심을 갖게 되었다”라고 말했다.

Solution

KSNET이 본격적으로 DW 어플라이언스 도입을 검토한 때는 2009년경으로 거슬러 올라간다. KSNET은 국내에 DW 어플라이언스의 개념이 소개되고 여러 업체에서 관련된 초기 제품을 막 출시하기 시작한 때부터 이번 Microsoft SQL Server 2012 PDW를 도입하기까지 성능과 운영 효율성을 중심으로 다방면에 걸쳐 여러 솔루션을 검토해왔다.

꾸준히 DW 및 비즈니스 인텔리전스(BI) 기술 동향을 주목하던 KSNET은 두 가지 작업을 통해 차세대 환경으로의 전환을 도모하게 된다. 첫 번째 작업은 64비트 BI 체제로의 전환이었다. 기존에 사용하던 MicroStrategy 8은 32비트 버전이었는데 이를 최신 버전인 MicroStrategy 9의 64비트로 업그레이드 하고자 한 것이다. 분석 대상 데이터의 대용량화와 서비스 증가에 따른 분석 관점 다양화가 맞물려 초기 도입한 32비트 분석 엔진으로는 메모리 용량의 한계에 봉착하게 되었던 것이다. 참고로 64비트 환경에서는 메모리 주소 어드레싱 영역 확장으로 인해 대량 데이터를 분석 가능하며, 인메모리(In-memory) 기술 등을 추가 적용할 경우 고속 분석 처리 가능하므로 현업 사용자가 더 많은 정보를 더 빨리 분석에 이용할 수 있게 된다.

KSNET은 차세대 DW로의 전환을 위해 우선 사용자들이 쓰는 분석 플랫폼을 64비트로 전환하고 뒤를 이어 DW 어플라이언스 도입에 나섰다. KSNET이 선택한 DW 어플라이언스는 Microsoft SQL Server 2012 Parallel Data Warehouse (PDW) 기반의 통합 장비였다. KSNET이 SQL Server 2012 PDW에 주목한 이유는 범용 서버와 스토리지를 가지고 최적의 성능을 확보할 수 있다는 점이 크게 작용했다. 여기에 더해 확장의 용이함도 KSNET의 눈을 사로잡았다. 성능과 용량을 필요한 만큼 선택할 수 있는 도입 옵션과 함께 향후 확장 역시 손쉬웠던 것이다.

먼저 최적의 성능 확보와 관련해 KSNET은 MicroStrategy와 Microsoft SQL Server 2012 PDW는 최적의 조합이란 점을 높이 평가했다. MicroStrategy는 멀티 패스 SQL 기술을 지원하기 때문에 데이터베이스에 담긴 데이터를 재가공 할 필요 없이 그대로 사용할 수 있어 고속의 데이터베이스 엔진이 뒷받침 될 경우 성능상 얻을 수 있는 이점이 크다. 여기에 더해 Microsoft는 Microsoft SQL Server 2008 R2 PDW부터 MicroStrategy 플랫폼에 대한 최적화 인증을 부여했다. 즉, PDW 상에서 MicroStrategy가 최상의 성능을 낼 수 있는 그런 조건이었던 것이다.

다음으로 하드웨어 도입 옵션과 확장성은 HP 장비가 제공하는 이점이 컸다. KSNET은 HP AppSystem for Microsoft SQL Server 2012 for PDW를 도입했는데 이 제품은 스위치, 서버, 스토리지로 구성된 기본 유닛을 최소 도입 옵션으로 제공한다. HP AppSystem for Microsoft SQL Server 2012 for PDW는 랙 공간의 1/4 사이즈 규모인 기본 유닛을 시작으로 필요에 따라 서버와 스토리지를 늘려 갈 수 있는 데 랙 하나를 다 채웠을 경우 최대 64개 컴퓨팅 노드와 6페타바이트(PB)의 스토리지로 확장이 가능하다. 이 중 KSNET은 PDW 기본 유닛과 함께 백업과 ETL 처리 용도의 옵션 파트를 추가한 구성으로 도입하였다. 64비트 버전으로의 MicroStrategy 업그레이드를 사전에 마친 뒤, Microsoft SQL Server 2012 PDW 도입을 성공적으로 완료한 KSNET은 2013년 차세대 DW 환경을 본격 가동하였다.

Benefits

IT 관리자와 데이터 분석 인력 모두 업무 생산성 높아져

VAN 사의 시스템은 전국 기업 및 가맹점으로부터 전송되어 오는 거래 데이터 처리를 위해 24시간 365일 무중단으로 운영된다. 업무 특성상 주야간 구분 없이 데이터 조회, 가공이 이루어지고 메인 시스템의 배치 작업이 병행 실행된다. 이런 미션 크리티컬한 환경에서는 데이터 증가는 곧 IT담당자와 현업 사용자가 각자의 업무를 처리하는 데 드는 시간이 더욱 늘어나는 생산성 저하 이슈로 이어진다. DW 시스템 역시 마찬가지였다. 분석 사용자들이 보는 분석 보고서는 수천 건으로 늘어 났고 데이터 역시 거래 증가와 신규 서비스 개시가 맞물리면서 꾸준한 증가세를 보여왔다. 자연히 IT 부서에서는 점점 길어지는 배치 작업 시간을 최대한 단축시키기 위해 노력해야 하였고, 현업 사용자는 복잡한 분석 수행 시 너무 오랜 시간이 걸리는 것을 불편해 했다. 그러던 것이 DW 어플라이언스 도입 후 사정이 바뀌었다.

이와 관련해 KSNET 관계자는 “매일 같이 발생하는 거래 데이터를 야간 시간대를 이용하여 DW에 가공, 적재해 다음 날 분석 담당 직원들이 이용할 수 있도록 해야 하는데 Microsoft SQL Server 2012 PDW 도입 후 배치 처리 시간이 1/2로 대폭 단축되었다. 또한 시스템이 바뀌어도 현업 사용자들이 관심을 가지는 경우가 적은데 DW 어플라이언스 도입 후 여러 분석 담당 직원들이 분석 소요 시간이 월등히 빨라져 업무 처리에 큰 도움이 된다며 감사의 뜻을 전하기도 했다”고 말했다. 그는 또한 “기존 DW 시스템 대비 PDW상에서의 분석 보고서 총 실행시간 합계 비교 기준 약 11.7배, 개선 정도 평균 기준 58.5배의 성능 향상이 보고 되었다”라고 덧붙여 설명했다.

빅 데이터 수용까지 거뜬한 기초 마련

KSNET은 방대한 규모로 보관되는 데이터의 활용 가치를 향후 빅 데이터 부문까지 확장시키는 것에도 관심이 많다. 기업 내부의 데이터와 외부의 다양한 유형의 데이터를 빅 데이터로 결합하여 새로운 비즈니스 가치 창출이 가능하다고 보고 있는 것이다. 데이터 분석에 대한 이런 관점은 DW 어플라이언스 도입 전략에도 녹아 들었다.KSNET은 Microsoft SQL Server 2012 PDW의 경우 다양한 써드파티와 통합성이 좋다는 점을 높이 평가해 도입을 하였다. KSNET은 단기적으로는 현업 사용자들의 분석 환경인 MicroStrategy와의 연계 및 통합을 중요시했다. 뿐만 아니라 Microsoft SQL Server 2012 PDW는 하둡(Hadoop)과도 긴밀히 통합되어 있어 중장기적으로 빅 데이터를 수용하는 데에도 유리하다는 점 또한 놓치지 않았다.