전문가칼럼

DBMS, DB 구축 절차, 빅데이터 기술 칼럼, 사례연구 및 세미나 자료를 소개합니다.

빅데이터를 제대로 활용하기 위한 조건 : 데이터 확보와 비즈니스 발굴

전문가칼럼
DBMS별 분류
Etc
작성자
dataonair
작성일
2017-08-14 00:00
조회
6296




◎ 연재기사 ◎


인간과 컴퓨터, 다가온 인공지능


빅데이터와 인공지능을 활용한 자율주행 자동차 어디까지 왔는가


사물인터넷과 빅데이터 그리고 인공지능의 기술체인


사물인터넷의 기술수준과 사물지능의 실현 가능성


자율주행을 가능하게 하는 기반 기술들


커넥티드 카의 실현과 지능형 교통시스템


클라우드 컴퓨팅과 인공지능의 만남


빅데이터를 제대로 활용하기 위한 조건 : 데이터 확보와 비즈니스 발굴


고성능 병렬 컴퓨팅 환경의 중요성과 현황


공유를 통한 발전 사례 비교와 우리의 현황



4차 산업혁명과 지능정보기술의 미래방향

빅데이터를 제대로 활용하기 위한 조건
데이터 확보와 비즈니스 발굴



4차 산업혁명 시대가 본격 열리고 있다. 4차 산업혁명의 핵심 주체는 소프트웨어이다. 즉 ▲인공지능(AI) ▲사물인터넷(IoT) ▲빅데 이터(Bigdata) ▲클라우드(Cloud) ▲로봇(Robot) ▲3D프린팅 ▲자율주행자동차 등 소프트웨어를 기반으로 한 핵심 기술들과 응 용 기술들이 산업과 사회의 경계를 허물게 된다. 다시 말해 소프트웨어를 바탕으로 한 융합의 산물들이 우리사회를 크게 변화시켜 나간다는 것이다. 이 혁명은 기존 1~3차 산업혁명들과는 다른 양상으로 전개될 것이다. 즉 보다 더 빠르고, 더 다양하고 많은 분 야에서, 사회 전체 시스템의 변화를 수반하며 사회를 탈바꿈시킬 것이다. 거부할 수 없는 변화의 흐름이자 진화이다. 본지는 이에 따라 4차 산업혁명의 핵심 주체들에 대한 보다 상세한 내용을 살펴보고자 안성원 소프트웨어정책연구소 신기술확산연구팀장이자 공학박사로부터 원고를 의뢰해 10회에 걸쳐 전문가 강좌를 연재한다.



빅데이터(BigData)는 4차 산업혁명의 핵심 요소 기술 중 하 나로 사물인터넷(IoT), 인공지능(AI)과 동반성장 하는 생태계 에 속해 있다. 지난 3월호에서 언급한 것처럼 IoT-빅데이터- AI로 이어지는 기술체인은 상호보완적이고 필요충분 조건하에 있기 때문에 이들 각각의 기술 발전없이 4차 산업의 발전은 기 대할 수 없다.

빅데이터는 기업들이 새로운 가치를 창출할 수 있는 재료이 자, 갚진 보석을 발견할 수 있는 원석과 같은 존재이다. 근래에 빅데이터를 이용해 새로운 서비스를 찾고, 가치를 창출하는 기 업들이 업종에 관계없이 늘어나고 있다. 산업과 사회 전반에 걸쳐‘데이터를 활용한 가치창출’이 이루어지고 있는 것이다.

기업들은 각자의 목적에 맞는 빅데이터를 수집하고 분석해 새로운 서비스를 제공하고, 이를 통해 디지털 전환(Digital Transformation)을 진행하고 있다. 새로운 가치를 창출한다 는 것은 결국 생성된 빅데이터를 필요한 목적에 맞게 가공하고 분석해 새로운 결론을 얻어내고, 이를 통해 최적의 답안을 제 시하는 것을 의미한다. 기존 현상에 대한 패턴을 분석해서 향 후에 일어날 현상과 상태를 예측하고 대응하는 것이다.



4차 산업혁명의 핵심은‘빅데이터’

빅데이터를 활용해 새로운 가치를 창출하는 대표적인 사례 를 각 분야별로 몇 가지 살펴보자.

먼저 전통적인 제조 기업의 예이다. SW 및 데이터 분석 기 업으로 전환을 선언한 GE는 자사에서 생산 중인 비행기 엔진 (Genx)에 센서를 부착했다. 그리고 이 센서로부터 수집된 빅데 이터를 자사의 클라우드 인공지능 플랫폼인‘프리딕스(Predi x)’에서 분석한다. 이를 통해 실시간 엔진상태 점검, 정비 시기 알림제공, 비행경로 관리, 비행시간 단축 및 연료절감 등 항공 기 유지보수 비용 감소와 안전보장 서비스를 고객(항공사 등) 에게 제공하고 있다.

스마트 공장을 실현한 지멘스(Siemens)는 자사의 공장 설비 에 센서를 부착하고 네트워크 연결을 통해 IoT를 구현했다. 이 스마트 공장에서 생산되는 모든 제품과 생산 공정은 실시간으 로 수집된 데이터를 기반으로 제어된다.

제품 품질상태 및 생산 공정 간의 오류 등의 데이터를 분석 해 관리 감독함으로써 불량률을 기존의 2.5% 수준으로 줄였 다. 공정상의 오류와 불량품에 대한 롤백(Roll back)을 획기적 으로 줄이면서 공장을 가동하는데 필요한 에너지 또한 기존의 70% 수준으로 낮췄다.

유통업체인 아마존(Amazon)은 자사 온라인 쇼핑몰에서 행 해지는 고객들의 쇼핑 관련 정보를 수집한다. 이렇게 수집된 데이터를 분석해 고객의 쇼핑패턴을 알아내고, 고객이 원하는 상품 또는 곧 구입할 상품을 예측해 근처의 지점으로 미리 배 송해 놓음으로써 배송시간을 획기적으로 단축시켰다. 동시에 유통과 물류에 소비되는 비용 또한 줄일 수 있었다.

인공지능으로 잘 알려진 IBM의 왓슨(Watson)은 의료분야 에서 빅데이터를 활용해 괄목할 성과를 보이고 있다. 환자의 의료 빅데이터를 분석한 후 의사에게 정확한 처방을 추천해주 고, 200종 이상의 의학 저널 등에서 관련 임상실험 결과와 논 문 등의 자료까지 찾아준다.

중장비 제조업체인 캐터필러(Caterpillar)는 자사가 제조 및 판매하는 중장비에 센서를 부착해 실시간으로 데이터를 수집, 자사의 IoT 네트워크인 CAT CONNECT에서 분석해 장비의 상태를 체크하고 부품 교환 가이드를 제공한다. 이를 통해 장 비가 공사장에서 고장나 멈춰 있는 시간을 기존의 10% 수준으 로 낮추고 작업의 효율성을 증가시키는 서비스를 실현했다. 빅데이터의 활용사례는 정부기관이나 각종 연구소에서도 매 우 활발하게 진행되고 있다. 일본 이화학연구소(RIKEN)는 30 초 단위로 기상 데이터를 수집하고 빅데이터를 분석해 10분 뒤 의 강수확률을 정확하게 예측하는‘3차원 현재예보 (nowcasting)’서비스를 구현했다. 일본 간사이 지방을 대상 으로 하는 이 시스템에서는 매 10~30초마다 60km 범위의 100개 각도로 비구름의 위상을 측정한 데이터를 분석한다.

세계 자본 이동의 현황을 파악하는 미 재무부 산하 금융범죄 단속반(FinCEN)은 실시간으로 수집하는 금융정보 빅데이터와 인공지능을 활용해 불법 자금의 흐름이나 테러 관련 자금을 파 악한다. 우리나라 또한 이를 벤치마킹해 금융위원회 산하 금융 정보분석원(FIU)에서 금년 60억 원 규모의‘인공지능 기반 차 세대 자금세탁방지 분석 시스템’을 구축하고 있다.

입자 가속충돌 시험으로 잘 알려진 유럽 원자핵 공동 연구소 (CERN)는 매 실험마다 초당 1페타바이트(PetaByte, PB)1)의 데이터가 쏟아져 나온다. 모든 데이터를 저장할 수 없어 꼭 필 요한 극히 일부의 데이터만을 수집 및 저장하고 있는데도, 최 근 축적한 데이터가 200PB를 넘겼다고 한다. 그야말로 빅 (Big)데이터이다.

빅데이터를 활용해 새로운 비즈니스 아이템을 발굴하는 대 표 분야로 금융권을 들 수 있다. 국내 은행 및 카드사들은 빅데 이터 분석을 통해 고객의 연령, 성별대별로 라이프 스타일을 파악하고 각각의 관심사에 맞는 금융상품을 설계해 출시하고 있다. 보험사들도 마찬가지이다. 그간의 보험 사례 빅데이터를 분석해 임산부나 어린 자녀를 둔 부모가 사고를 적게 낸다는 사실을 발견하고 관련 상품개발에 응용했다.



GE, 지멘스, 아마존 등 글로벌 기업들 데이터로 돈 번다

이처럼 빅데이터를 활용하는 사례는 계속해서 늘어나고 있 다. 중국의 거대 유통기업인 알리바바의 CEO 마윈은‘앞으로 데이터를 활용해 돈을 버는 일이 미래의 핵심 가치가 될 것’이 라고 언급하기도 했다. 맞는 말이다. 빅데이터의 활용이 늘어 남에 따라 시장 또한 가파르게 성장하고 있다. 시장조사 기관 인 IDC는 빅데이터 시장이 2015년 이후 연평균 11.3% 이상의 높은 성장세를 이어가며 2020년에는 2,100억 달러까지 성장 할 것으로 전망했다. 당장 올해만 빅데이터 분석 시장은 1500 억 달러를 넘어설 것으로 예측했다.

빅데이터가 4차산업 혁명시대를 현실로 만들어 주는 중요한 요소기술로 자리 잡은 가운데, 지난 16년 조사 자료에 따르면 국내 기업의 빅데이터 도입률은 전체 기업의 약 4.3%에 불과 한 것으로 나타났다.2) 국내 기업의 빅데이터 활용 성장률은 중 대형 업체의 경우 20~25% 수준이고, 중소업체의 경우는 더 낮은 5~8% 수준이다.

반면, 외국계 IT 기업은 30% 이상의 도입률로 가파른 성장 세를 보이고 있는 것으로 조사됐다. 국내 기업의 향후 빅데이 터 수요는 전체기업의 30.2% 수준으로 예측되며, 기업들이 빅 데이터 도입을 고려하는 시기는 2018~19년 이후인 4차 산업혁명 시대의 도래와 함께 빅데이터의 중 요성을 강조하고, 유수 기업들이 적극적인 투자와 새로운 사업 을 발굴해 나가는데, 조사자료에 의하면 우리 기업들의 다수는 아직 제자리걸음이다. 물론 조사당시는 2015년을 기준으로 했 기 때문에, 최근 시장 현황과 차이는 있겠지만 아직 우리기업 들의 현장에서 빅데이터 활용률은 저조한 것이 사실이다.



국내 기업, 빅데이터 도입률 4.3%로 저조

빅데이터의 활용을 위해서는 크게 두 가지 측면이 전제되어 야 한다. 첫 번째는 데이터의 확보이다. 데이터의 확보를 다시 세밀하게 나누자면, 데이터 자체의 확보와 양질의 데이터를 확 보하는 것으로 말할 수 있다.

얼마 전 빅데이터 관련 IT업체들과의 모임에서 빅데이터 분 석을 잘 하고 있는지에 대한 질문을 했는데, 돌아온 답변은‘분 석할 데이터가 없어서 잘 못하고 있다’였다. 데이터만 확보된 다면 이런저런 사업아이템들을 구현해보고 싶은데, 데이터 확 보가 만만치 않다는 것이다. 결국, 국내 기업들의 빅데이터 분 석 도입 수준이 뒤처지는 이유는 빅데이터 분석을 할 만큼 풍 부한 데이터가 부족하고, 데이터 분석의 고도화를 위한 환경 조성이 미흡하기 때문이다. 빅데이터 활용에서 데이터의 확보 가 중요한 이유이다.

데이터를 확보가 안돼 있다는 것은 마치 요리사가 이것저것 요리를 만들어 내고 싶은데 요리할 재료 자체가 없는 것과 같 다. 이미 여러 차례 언급했지만 알파고도 빅데이터 학습을 통 해 탄생했다. 일부 자본력을 갖추고 시장 확보가 탄탄한 기업 들은 자체 인프라를 활용해 데이터를 확보하고 새로운 가치 창 출을 시도하고 있지만, 여전히 대다수 기업들은 그리 좋은 성 적을 내고 있진 못한 듯하다.

현재 많은 기업들은 데이터 확보에 어려움을 겪고 있는데, 제도적인 측면과 인프라의 부재가 원인으로 꼽힌다. 제도 측면 의 대표적인 것이 개인정보 보호법에 의한 제약이다. 개인정보 비식별화를 통한 정부의 가이드라인이 마련되긴 했지만, 아직 까지 갈 길이 멀다.

또한 데이터 확보를 위해서는 보다 많은 인풋 채널(input channel) 즉, 데이터 수집수단이 있어야 한다. 온라인상으로 구축된 서비스들은 상대적으로 데이터 수집이 용이하다. 아마 존이 자사의 온라인 쇼핑몰에서 사용자의 구매 패턴, 특정 제 품의 페이지에 머물렀던 시간, 심지어는 마우스 커서가 올려 있는 대상까지도 고객의 니즈를 예측/분석하기 위한 수단으로 사용한다. 이 모든 것은 비교적 센서와 같은 추가 하드웨어의 보급없이도 이루어진다.

반면, 기구나 장비, 자동차, 생산시설 등 다양한 물체들을 통 한 빅데이터의 수집과 그에 따른 서비스를 제공하기 위해서는 센서의 투입과 네트워크 연결이 전제되어야 한다. 그나마 국립 연구소 같은 정부기관은 데이터 확보를 위한 센서의 투입 내지 는 위성이나 시설 망 등과의 네트워크 연결이 상대적으로 용이 하다. 그러나 자본력이 부족한 중소 업체들은 사실상 빅데이터 를 활용한 회사의 생산 관리 및 서비스 창출이 어렵다. 이를 해 결하기 위해서는 초기 요람시장을 정부협력으로 형성시켜 주 고, 시장 내에서 성과가 두드러지는 기업들을 집중 지원해 육 성시키는 것도 하나의 방법이 될 수 있다.



column_img_2939.jpg

외국계 IT기업, 빅데이터 도입률 30% 수준

사회 간접자본과 같은 인프라 측면에서 앞으로 더 많은 센서 들이 깔리면서 IoT가 현실화 되고, 여기에서 생성되는 빅데이 터를 통해 새로운 서비스가 창출될 것이다. 시기가 문제일 뿐 이러한 현상은 나타날 수밖에 없다. 데이터를 수집하기 위한 장치들이 보다 대중화 되고, 우리 주변의 거의 모든 곳에 보편 화되기 위해서는 돈과 시간이 필요하다.

데이터가 확보되었다면, 양질의 데이터를 걸러내는 것도 중 요하다. 많은 인풋 채널을 통해 수집한 데이터는 크게 의미가 없는 데이터들도 많이 포함되어 있을 가능성이 높다. 따라서 빅데이터를 통해 새로운 비즈니스를 창출하기 위해서는 비즈 니스를 가능하게 하는 데이터를 걸러내는 것이 필요하다. 수집 한 빅데이터에서 일정한 규칙성을 갖는 요소들을 골라내고, 이 들을 관찰하여 문제해결을 위한 새로운 아이디어를 발굴하거 나 비즈니스 모델을 수립할 수 있다. 이는 다음으로 설명할 비 즈니스 모델과도 연관성이 있는데, 빅데이터 분석을 통한 비즈 니스 모델의 발굴은 다분히 귀납적3)(Bottom Up)인 방법이라 할 수 있다.

빅데이터를 잘 활용하기 위한 두 번째 측면은, 비즈니스 모 델에 대한 발굴이다. 빅데이터는 그저 데이터를 많이 모았다고 만 해서 가치를 갖는 것은 아니다. 해당 데이터를 분석해 새로 운 요소를 분석해내고, 미래를 예측하고, 새로운 비즈니스 아 이템, 새로운 서비스를 발굴해 내어야 비로소 가치를 갖는다. 비즈니스 모델에 대한 발굴은‘어떤 데이터를 모아야 할 것인 가’에 대한 답변도 될 수 있다.

기업들의 빅데이터 활용도가 부족한 것은 데이터의 확보 문 제도 있지만, 데이터를 통해 어떠한 비즈니스를 발굴해 내야하 는지를 못 찾았거나 찾더라도 그 사업성이 불투명하기 때문이 기도 하다. 이러한 문제는 유사 업종의 선진 기업들을 벤치마 킹 하고, 각각의 장점을 살릴 수 있는 아이템을 스스로 찾음으 로써 해결할 수 있다.

새로운 가치사슬을 만들어 내거나, 가치창출을 위해 디지털 전환을 하기 위해서는 고객의 니즈(Needs)를 잘 파악하고 그에 맞춘 비즈니스 모델을 수립하는 것이 필요하다. <그림>은 데이 터 기반의 서비스 모델로 앞선 GE, 지멘스, 캐터필러 등의 예 에서와 같이 비즈니스 모델을 발굴해 빅데이터를 활용하는 개 념과 과정을 도식화 한 것이다.

<그림>에서처럼 소비자의 요구에 따라 제품을 구성하고 스 마트한 공정을 통해서 생산 및 판매를 하는 모든 과정에서 데 이터가 활용된다. 데이터 수집을 통해 고객의 니즈를 분석하 고, 그에 따른 제품 기획 및 시뮬레이션을 거쳐 제품이 생산된 다. 이 과정에서 생성되는 데이터는 다시 생산 공정에 반영된 다. 즉, 새로운 비즈니스 모델의 생성, 기존 비즈니스 모델의 수정 및 보완에 사용된다. 고객 및 생산 공정에서 축적된 데이 터는 다시금 각 레이어별로 맞춤형 서비스도 가능하다. 스마트 한 생산과 스마트한 서비스가 빅데이터에 의해 맞물려 있는 것 이다.

아마존, IBM, 금융 및 보험사 등의 비즈니스 모델 또한 <그 림>의 과정과 유사하다. 스마트공장(지능형생산)에 해당되는 레이어가 생략되거나 유통 등의 서비스 형태로 바뀌면 된다.



빅데이터 본격 도입시기는 2018년 이후부터

정리하면, 빅데이터의 활용률을 높이기 위해서는 우선 데이 터를 확보하고 분석하는 것이 필요하다. 그리고 비즈니스 모델 을 수립하고 그에 맞춘 양질의 해당 데이터를 다시금 확보하는 것이 중요하다.

경험이 풍부하고 데이터를 많이 확보하고 있으며 비교적 안 정적인 궤도에 올라있는 기업이든, 중소 또는 신생기업이든 먼 저 치밀한 비즈니스 모델을 세우고 기획해 그에 맞는 데이터를 확보하는 것은 매우 좋은 전략일 수 있다. 다만, 비즈니스 모델 의 발굴은 데이터 축적을 근거로 하는 경험적 아이디어에서부 터 비롯된다고 볼 수 있기 때문에 결국엔 이것도 데이터의 확 보가 관건이다.

지금까지의 경험에서 알 수 있듯이 과거 많은 과학 성과는 관찰에서 비롯되었다. 이렇게 축적된 성과를 바탕으로 새로운 기획을 하기도 하고, 또 애초 기획한 의도와는 다른 성과를 얻 을 수도 있다. 데이터를 모으고 분석하다 보면 그동안 미처 인 지하지 못했던 패턴을 발견할 수도 있다는 것이다. 기획은 어 느 정도 기본적인 데이터에 의한 경험적 축적이 있어야 가능하 다는 의미다. 그만큼 데이터의 확보는 중요하다.

앞으로는 보다 많은 센서가 사회간접자본이나 인프라에 설 치되고, 더 많은 사물과 사람들이 더 쉽게 네트워크에 연결되 면서 데이터는 넘쳐날 것이다. 상대적으로 데이터를 얻을 수 있는 기회가 많은 환경에서는 빅데이터 분석을 통한 신 서비스 발굴이 기업의 성패를 가를 것이다.

고객의 수요와 데이터의 확보를 통한 비즈니스 모델의 발굴, 그리고 발굴한 비즈니스 모델을 통한 양질의 데이터의 확보, 이 순환적인 방법의 가치창출이 결국 4차 산업혁명 시대를 이 끄는 하나의 패러다임이 될 것이다.

이 패러다임에 따라 기업들의‘디지털 전환’이 가시화 되고 있는 지금, 우리는 데이터 확보에 걸림돌이 될 제약사항을 없 애주고 보다 다양한 시범사업들을 추진하면서 성공 사례를 전 파하는 민/관 합동의 노력이 필요하다. 기업들도 이미 분석된 결과를 통한 가치창출보다 직접 대량의 데이터를 확보 및 축 적, 분석해 새로운 가치창출을 위한 노력을 기울여야 한 다.