4차 산업혁명의 IT- 빅데이터 분석을 통한 생산성 향상 사례

조경미 (kmicho@cslee.co.kr)
現 아이리포 기술사회, 정보관리기술사

現 ㈜씨에스리

- 기술기획-신기술조사/분석, IT역량체계 및 KPI 수립/평가

- 기술전략-개발FW/프로세스 표준화/ITSM 구축 PM

- 포털 검색 서비스 개발, 검색 데이터 마이닝, 검색엔진최적화 컨설팅

1. 서론

ICT의 급격한 성장과 함께 우리는 4차산업혁명이라는 거대한 변화의 한 가운데에 있다. 4차산업혁명을 이끄는 수많은 ICT기술 가운데, 빅데이터는 단연 핵심이라고 할 수 있다. ‘빅데이터’라는 용어를 처음 사용한 사람은 누구였을까 확인을 해보니, 1990년대 실리콘 그래픽스의 최고 과학자인 존 마시(John R. Marshey)가 데이터의 폭증에 대한 발표에서 ‘빅데이터’라는 용어를 처음으로 사용하였다고 한다. 이후 경제학자인 Kenneth Cukier 는 이코노미스트에 ‘Data, data anywhere’ 라는 글을 소개하며, 전 세계는 상상할 수 없을 만큼 많은 디지털 정보를 가지고 있으며 그 양은 매우 빠르게 커져가고 있다고 하였다. 이러한 현상은 비즈니스부터 제조, 의료, 문화에 이르기까지 범위가 커지고, 이러한 현상을 한마디로 ‘빅데이터’로 정의를 내렸다.

2016년 11월, 스마트폰, 생활가전, 의료, 공장 그리고 ‘알파고’로 대표되는 게임까지 빅데이터를 기반으로 하지 않는 ICT는 상상할 수도 없다. 이에 빅데이터를 활용하기 위한 수집 > 저장 > 처리/분석 > 활용의 빅데이터 라이프사이클 단계별 기술요소와 제조, 의료, 비즈니스, 문화 등의 다양한 분야에서 빅데이터를 활용한 우수한 사례를 알아보고, 앞으로 빅데이터를 이용한 생산성 향상, 가치 증대를 위해 빅데이터를 활용하기 위한 방안을 제시해보고자 한다.

2. 빅데이터 라이프사이클

T byte 이상의 Volume의 데이터 수집하여 정형 또는 비정형의 데이터를 저장, 처리, 분석의 라이프 사이클을 기반으로 3V(Volume, Velocity, Variety)의 특징에서 6V(3V + Veracity, Visualization, Value)까지 빅데이터를 규정하는 의미가 점차 확대되고 있다. 빅데이터를 활용하기 위한 플랫폼 기술로 수집/저장을 위한 하둡에코시스템과 NoSQL, 처리/분석을 위한 MapReduce, 데이터 마이닝과 기계학습, 활용을 위한 시각화 기술로 R, Python 등이 빅데이터 인프라 기술로 활용된다.



[출처]2014년 엔트루월드 발표자료

가. 수집단계

수집되는 데이터 소스는 내/외부, 모바일/SNS/센싱 데이터 모두를 포함하며, 정형, 비정형, 반정형 데이터 모두를 포함한다. 외부 데이터는 crawling을 이용하여 수집하며, Splunk, Flume, Chukwa등 오픈 소스를 이용하기도 한다. 내부 데이터는 ETL 또는 하둡에코시스템의 Sqoop을 이용한 수집도 가능하다.

나. 저장단계

수집된 대용량 데이터를 저장하는 시스템으로 분산 시스템 환경하에서 처리할 수 있는 기술로 Hadoop의 HDFS(하둡 분산 파일 시스템), Hbase, Cassandra, MongoDB등의 NoSQL 등을 활용한다. 또한 실시간 데이터를 처리하기 위해 In-memory 기반의 MMDB나 RDBMS를 이용하기도 한다.

다. 처리/분석단계

빅데이터를 이용해 무한한 가치를 창조해 낼 수 있는 분석기법으로는 데이터 마이닝, 기계학습과 딥러닝, 패턴인식 등이 있다. 최근 급격히 증가하고 있는 SNS 비정형 데이터 분석을 위해 소셜 네트워크 분석, 오피니언 마이닝 등의 활용도 증가하고 있다.

라. 활용단계

빅데이터 분석을 통해 도출된 결과를 의사결정 등에 활용하기 위한 시각화 기술이다. R과 python을 이용하여 시각화가 가능하며, D3.js, FusionCharts, Tablue등 빅데이터 시각화를 위한 다양한 툴들이 있다

3. 빅데이터 분석 활용 사례

빅데이터 처리를 위해 HDFS의 Hadoop 및 하둡 에코 시스템의 발전과 신경망 알고리즘 고도화를 통한 기계학습, 딥러닝의 발달로 제조, 의료, 비즈니스, 문화 등 다양한 분야에서 빅데이터를 활용한 성공 사례가 증가하고 있다. 각 분야별 사례를 통해 빅데이터 활용에 대한 가치를 확인하고, 각 사례를 기반으로 시사점을 도출해 본다

가. 제조 - GE

GE는 2011년 ‘GE글로벌소프트웨어’설립하였고, 제조사에서 SW기업으로 거듭나고 있다. 2012년에는 컨설팅회사인 엑센츄어와 조인트벤처인 탈레리스(Taleris)를 설립하고 다수의 항공기 부품과, 부속품 및 시스템의 모든 센서에서 확보된 빅데이터를 모니터링하여 항공 정비 문제 예측, 출발 지연, 취소를 사전에 예방하고 운영을 최적화 하는 지능형 운영(Intelligent Operations)시스템을 개발하였다. 또한 브라질 Gol항공사는 이 시스템을 이용하여 5년간 9천만 달러의 비용을 절약할 것으로 예측하였다.

시사점) 창업한지 100년이 넘은 GE는 소프트웨어업체로의 변신을 선언하고, Predix라는 소프트웨어 개발 플랫폼을 구축하고 원격으로 공장 설비를 감독하고 빅데이터를 수집하여 활용하고 있다. 4차산업혁명을 주도하는 GE의 지능형 운영 시스템은 빅데이터를 활용하고 분석하는 SW역량이 미래 제조업의 핵심임을 인식하고 투자하는 우수 사례라고 할 수 있다

나. 의료-엔리틱 폐암진단 시스템

엔리틱은 방사선 전문의가 악성 종양의 유무와 위치 등을 체크한 대량의 의료 영상 데이터를 CNN(Convolutional Neural Network)알고리즘을 이용한 기계학습으로 악성 종양의 형상을 나타내 주는 특징이나 패턴을 자동으로 발견하는 악성 종양 검출 시스템을 개발하였다. 이 시스템은 폐암을 검출해 내는 정확도가 방사선 의사가 1명만 참여해서 폐암을 감지할 때의 정확도를 50% 를 넘었으며, 의사가 진단과 진단 보고서를 작성하는데 걸리는 시간을 반으로 줄일 수 있다고 한다.

시사점) ICT기술은 인간의 행복과 안전을 위해 더욱 적극적으로 활용되어야 한다. 정밀한 의료 영상 분석 기술의 개발은 Health Care 에서 Wellness로 진화할 수 있는 빅데이터를 이용한 의료 분야의 우수 사례이다.

다. 의료- 아산병원 의료연구정보검색시스템

서울아산병원은 익명화 처리기능과 방대한 의료정보 검색에 최적화된 ABLE(Asan BiomedicaL research Evironment)시스템을 구축하였다. 의료 빅데이터를 활용하기 위한 핵심 기술인 비정형 데이터의 개인정보보호법의 준수와 연구 등의 목적으로 의료 데이터에서 원하는 정보를 수분 내 바로 찾아볼 수 있다고 한다.

개인정보보호 항목은 삭제, 마스킹 등의 기법으로 익명화 하고, 의료 영상정보는 DICOM(Digital Imaging and Communication in Medicine)표준을 준수한 시스템으로 평가되며, 또한 미국 HIPAA(Health Insurance Portability and Accountability Act)가 제시하는 가이드라인을 참조하여 국내 의료 서비스 현장에 맞는 기준을 적용하였다.

시사점) 의료 정보의 빅데이터 활용에서 가장 중요한 것은 개인정보보호이다. 의료 개인정보보호에 대한 개인정보보호법을 적용한 사례이며, 의료 정보 획득 시간을 줄여 연구 프로세스를 개선한 빅데이터 활용 사례이다.

라. 비즈니스 - 멜론

로엔엔터테인먼트의 음악 서비스인 멜론은 국내 2,400만 이용자를 보유하며, 320만 음원을 보유하는 대규모 서비스이다. 지난 10년간 축적된 데이터를 관리하기 위해 하둡, Hbase, Mahaut을 선택하여 빅데이터 기술을 내재화하였고, 이용자의 이용 패턴을 이해하여 아티스트 추천하거나 맞춤형 서비스를 개발하는 빅데이터 플랫폼을 구축하였다

시사점) 음악, 쇼핑 등의 e-비즈니스에서는 고객의 요구에 맞는 상품을 추천하고 검색을 쉽게 하는 하여 고객의 편의와 가치를 극대화 하고 있다. 서비스 기업 내부에 빅데이터 및 데이터 분석 전문가를 확보하여 지속적으로 서비스 품질을 제고하는 빅데이터 인프라를 구축했다는 측면에서 우수한 사례이다.

마. 문화- 미국 Cultural Data Project의 The Arts Factor 2014 Report

미국 CDP에서 발표한 The Arts Factor 2014 Report 는 실제 보스톤 예술단체의 빅데이터를 분석하여 보스턴 지역의 비영리 문화예술단체가 보스턴에 미치는 긍정적인 영향을 입증하였다. 이 보고서는 보스턴 지역의 비영리 문화예술단체가 보스턴에 14억 달러의 경제적 효과를 유발하고 지역 커뮤니티 강화에 영향을 미친다고 설명하고 있다.

시사점) 외국의 경우 박물관, 미술관 등에서도 빅데이터 분석을 통한 맞춤형 서비스를 제공하는 사례가 늘고 있다. 우리나라도 예술, 문화계까지 빅데이터 활용을 쉽게 할 수 있도록 On-Demand 빅데이터 플랫폼을 구축하여 경제적 가치 증대에 기여하는 것이 필요하다.

4. 결론

1990년대 ‘빅데이터’라는 용어가 출현하고, 2010년 가트너 하이퍼 사이클에 Technology Trigger로 출현한 빅데이터는 Peak of Inflation Expectation를 이미 지나, Smart Data Discovery, Machine Learning 등의 상세 기술로 확대 되면서 빅데이터 활용에 대한 투자가 더욱 증대되고 있다. 빅데이터를 이용하여 생산성과 가치를 향상시키기 위해서는 첫째, 빅데이터 활용 기술을 고도화가 필요하다. 하둡으로 대표되는 빅데이터 오픈 소스 플랫폼을 안전하게 활용할 수 있는 전문역량을 확보하고, 국내에서 개발된 오픈SW를 더욱 많이 출시하도록 지원하는 체계가 필요하다. 둘째, 빅데이터 활용을 위해서 개인정보보호는 필수이다. PPDM(Privary Preserving Data Mining)를 적용하여 개인정보를 보호하고, 지난 6월에 배포된 개인정보 비식별화 조치 가이드라인을 준수하여 빅데이터, IoT 등 융합 기술의 발전에 따른 개인정보침해 사고가 발생하지 않도록 사전에 예방하는 것이 중요하다.

셋째, 빅데이터 시스템을 구축하고도 어떻게 활용할지를 몰라 IT투자타당성에 의심을 가지게 되어 오히려 빅데이터에 대한 투자를 저해하는 요인이 되고 있다. 빅데이터 분석 전문가, 빅데이터 기술 전문가, 빅데이터 기획 전문가등을 육성하여 빅데이터를 보다 유용하게 활용할 수 있는 인적자원을 확보하고 빅데이터 시스템을 고도화하여 사용할 수 있는 역량을 키워야 한다.

마지막으로 빅데이터 활용에 대한 신념을 가진 CEO의 적극 지원이 필요하다. 빅데이터의 중요성을 인식하고 빅데이터 활용을 위해서 리더가 집중적으로 투자할 때, 빅데이터의 가치와 활용은 저절로 증대될 것이다.

참고 문헌 2015 빅데이터 글로벌 사례집 / 미래창조과학부, NIA, 빅데이터전략센터
문화예술 분야 빅데이터 활용을 위한 기초 연구 / 기본연구 2014-24, 전광렬
세계 초일류 기업의 AI전략 / 매일경제신문사
주간기술동향 1731호(2016.2)
http://dbguide.net case study
http://www.oss.kr/oss_repository10/547481 멜론
http://www.oss.kr/oss_repository10/635493 한국과학기술정보연구원
http://www.itworld.co.kr/news/86474 빅데이터 활용 생산성 8~11%
http://www.gartner.com/newsroom/id/3412017 가트너 하이퍼사이클
http://www.itworld.co.kr/news/95890 빅데이터 활용 중요
http://thenextweb.com/ big data visualization

출처 : 한국데이터진흥원

제공 : 데이터 전문가 지식포털 DBguide.net