"InfiniFlux 앞세워 IoT 시대 실시간 분석에서 일내겠다"

컬럼형 DB 기술 적용, RDB 엔지니어를 그대로 수용 … 하둡의 대안으로서 ‘눈길’

인피니플럭스가 실시간 대용량 머신 데이터 저장,처리,분석을 최적으로 지원하는 DB인 ‘InfiniFlux’를 내놓았다. InfiniFlux는 하둡 에코시스템 중심의 대용량 데이터 처리/분석 분야에서 새로운 대안이라서 눈길을 끈다. 알티베이스에서 인메모리 DBMS를 개발했던 주역 가운데 한 명인 김성진 인피니플럭스 대표를 만나 얘기를 나눴다.

▲ 김성재 인피니플럭스 대표

InfiniFlux 제품을 소개해 달라.

사물인터넷(IoT) 시대에 서버, 네트워크 장비, 애플리케이션, 산업용 장비 등에서 생성되는 시계열성 로그 데이터를 저장,처리,분석하기 위한 머신 데이터 전용 컬럼형 DBMS다. 머신 데이터를 정형화해 저장하고 분석한다. 머신 데이터의 특징인 대용량, 동일 패턴, AOF(Append Only File), 빠른 분석 요구 등의 특성을 최적으로 수용하도록 인메모리 DBMS 기술과 컬럼 DBMS 기술, 실시간 검색을 위한 검색엔진 등 자체보유 특허 기술들을 적용해 만들었다. 기존 빅데이터 솔루션들의 한계점으로 지적되는 배치 처리가 아닌 수집,저장,인덱싱,분석,시각화까지 실시간으로 지원한다. 키워드 및 패턴 분석기능을 지원하는 DBMS이므로 SQL 문장에 검색 명령어를 혼용할 수 있어서 기존 시스템 관리자와 분석가들이 별도의 학습 없이도 바로 활용할 수 있다. 이제 출시한 지 4개월 정도 지나서 기존 RDB에서 지원하던 JDBC, ODBC 기능을 비롯해 스케일아웃 기능을 추가하기 위해 개발중이다.

실시간 처리에 특화한 제품이라는 말인가.

맞다. 머신 데이터를 최적으로 처리할 수 있는 DBMS다. 컬럼 DB에서 특정 컬럼만 분석하면 속도를 크게 높일 수 있다. 컬럼 DB는 빠른 반면, 기술적으로 풀어야 할 난제가 많다. 그 중 하나가 생성 속도가 기존 RDB에서 처리할 수 없을 만큼 빠른 머신 데이터를 수용할 수 있어야 한다는 점이다. 기존 RDB에서는 초당 1만 건 이상의 데이터를 처리하기 어려웠다. 그래서 파일로 처리하는 상용 제품도 나왔다. 하지만 이런 제품은 기업형 제품이라서 가격도 비싸고, 실시간 처리가 어렵다.

 

InfiniFlux는 기존 RDB 전문가들이 쉽게 접근 가능한 것이 장점으로 보인다.

맞다. RDBMS 시장을 본 것이다.

 

초당 저장 처리 성능은 어느 정도인가.

레코드 크기에 따라 달라지지만, 머신 데이터처럼 단순한 것은 초당 100만 건을 처리할 수 있다. 일반적인 RDB가 초당 2000~3000건을 처리한다. 물론 메모리에서 작동하는 인메모리 RDB는 이보다 빠른 약 1만 건을 처리할 수 있는 것으로 알고 있다.

 

타깃 고객을 어떻게 보나.

하둡을 고려하거나 하둡으로 처리해야만 하는 곳은 파고들기 힘들다. 대신 하둡이 하지 못하는 영역은 파고들 수 있다. 실시간 데이터 처리 같은 영역이 하나의 예다. 하둡은 배치 처리에 매우 강하므로 실시간 처리는 InfiniFlux에서 하고, 배치 처리는 하둡에서 하는 형태로 제안하고 있다. InfiniFlux에 관심을 갖는 곳의 대부분은 저장과 분석의 균형이 맞지 않음을 체험한 고객들이다. 인덱스하여 갱신이 필요한 RDB는 트랜잭션 중심이므로 실시간성 데이터 처리에는 적합하지 않다. 그래서 하둡 같은 오픈소스 도구들이 대안으로 떠올랐다.

 

대용량 데이터 처리에서는 하둡이 표준처럼 여겨진다.

필요에 따라 선택해야 한다. 하둡은 통신사나 인터넷 포탈, 게임사처럼 내부 하둡 전문가를 운영할 만한 업체에서나 현실적이다. 유지보수를 받을 수 없기 때문이다. InfiniFlux는 기본적으로 하둡이 지향하는 바와 다르다.

 

무엇이 다른가.

하둡은 이 세상 모든 데이터는 비정형이라고 본다. 그래서 데이터를 분석하기 위해서는 전체 데이터를 다 읽어서 처리하려 한다. 예를 들어 분석해야 할 데이터가 10억 건이라고 하면, 하둡은 10억 건을 다 읽는다. 물론 개선됐는지는 모르지만, 10억 건을 다 읽으려면 시간도 많이 걸리고 대용량 플랫폼도 필요하다. 그래서 여러 대의 기계로 빨리 처리하자는 게 하둡과 맵리듀스의 철학이다. 이것을 부르트포스(brute force) 전략이라고 한다. 물론 이런 게 필요한 영역 또는 경우가 분명히 있다. 예를 들어 모든 데이터가 영상이나 음성이라서 인덱스를 만들 수 없을 때 부르트포스 전략이 적절하다.

반면 데이터베이스에서는 기본적으로 모든 데이터는 정형화할 수 있다고 본다. 즉 데이터를 정형화할 수 있다면, 인덱스를 구축해 원하는 바를 찾을 수 있다고 보는 것이다. 정형화해 인덱스를 구축할 수 있다면, 시스템 리소스를 훨씬 적게 쓸 수 있다. 천 배 만 배는 적게 쓸 수 있다. 하지만 하둡에서 처리하는 머신 데이터 등은 완전히 비정형 데이터가 아니다. 오히려 정형 데이터에 가깝다. 시간, ID, 텍스트로 구성된 일종의 정형 데이터다. 이런 정형 데이터를 하둡에서 처리하는 것은 적합하지 않다. 하지만 정형화를 한다면, 무엇으로 해야 할까?에 대한 답이 없었다. 데이터가 워낙 많아서 오라클도 안되고, MySQL도 안되고… 하둡밖에 없잖아? 하는 게 현실이었다. 이런 상황에서 InfiniFlux가 나온 것이다. 솔루션이 없다면, 하둡을 택해야 하지만, InfiniFlux 같은 제품이 나오면서 머신 데이터 처리의 분명한 해법이 제시된 것이다.

 

하둡 유지보수 전문 업체들도 있지 않은가.

이것을 거론하기 전에 하둡은 패키지가 아닌 유지보수를 통해 수익을 창출하는 구조라는 점을 염두에 둘 필요가 있다. 그만큼 복잡하고 손볼 거도 많다는 말이다. 무엇보다 국내 기업 가운데 하둡으로 처리할 만한 용량의 데이터를 가진 곳이 별로 없다. 50TB에서 100TB가 넘어가야 하둡을 거론할 만하다.

 

하둡에서 벗어나 스플렁크 같은 상용 도구도 있는데.

인피니플럭스가 생각하는 방향은 검색엔진 중심의 제품과는 다르다. 질문한 제품은 가장 상위 층에 위치하는 솔루션 성격의 제품으로서 기존 그룹웨어나 ERP 솔루션 등과 연동이 잘 돼야만 한다. (이런 제품은) 실시간 데이터를 처리하는 데 맞지 않고, 앞서 소개했듯이 데이터 관점에서 접근하지 않는다. InfiniFlux는 인프라 계층에서 데이터를 가장 빠르고 쉽게, 저장/분석할 수 있는 플랫폼이다. 많은 데이터를 갖고 있는 업체에서 우리 제품으로 쉽게 데이터를 관리할 수 있도록 돕겠다.

 

빅데이터 시장에 대해서는 어떻게 보는가.

빅데이터 시장에 대해 세세하게 알지는 못하지만, 가는 방향은 안다. 기업 관점에서 보면 빅데이터를 낮은 비용으로 데이터를 빠르고 저장/분석할 수 있는 도구를 바란다. 그 답이 하둡이라고 할 수는 없다. 시장이 크므로 이 가운데 일부만 고객으로 확보하더라도 적지 않은 규모다. 10명 중에 한 명은 DB로 처리하고 싶지 않겠는가?

 

판매 전략이 궁금하다.

현재 InfiniFlux에 관심을 갖는 고객의 70~80%는 하둡으로 해보려다가 포기했던 곳이다. 현재는 마케팅이나 영업 위주의 비즈니스보다 기술 측면에 중점을 두고 있다. 앞서 소개했듯이 InfiniFlux에서 실시간 저장/처리한 데이터를 하둡으로 전달해 배치 처리하는 형태로 하둡의 부족한 부분을 메우는 쪽으로 접근할 계획이다.

 

요즘은 판매가 더 중요한 시대라고 하는데.

영업/마케팅이 중요하지 않다는 얘기는 아니다. 기업들은 기술 장벽을 넘는 힘을 갖추는 게 기본이 돼야 한다. 기술이 준비된 다음에 영업이나 마케팅을 생각해야 한다. 기술이 튼튼하면 나머지는 비교적 쉽게 풀어날 수 있다. 한두 카피 팔아서 한두 해 먹고 살려면 영업에 집중하는 게 맞다. 하지만 10년, 20년을 바라 본다면, 처음부터 영업과 마케팅에 집중하는 것은 글쎄다. 인피니플럭스는 기술의 장벽을 넘지 않고서는 도달할 수 없는 기술력을 확보한 것이 경쟁력이다. 기술이 벤처의 근간이 되어야 한다고 생각한다.

 

팔 수만 있으면, 얼마든지 제품을 만들 수 있다고 생각하는 곳도 있어 보인다.

질문에 동감한다. 인피니플럭스가 보는 기술은 다르다.

 

어떤 기술인가.

그렇게 말하는 곳에서 거론하는 기술은 앱(application)이나 유지/보수를 의미하는 것 같다. 인피니플럭스가 생각하는 기술은 오랫동안 노하우를 쌓고 숙성돼야만 나올 수 있는 그런 것이다. InfiniFlux는 여기저기서 기술자를 모아서 1년만에 만들 수 없는 제품이다. '시스템 소프트웨어를 돈 많이 주고 우수한 기술자를 모아서 만들 수 있다'고 생각하기는 쉽지 않다. 100억 원을 갖고 있더라도 이런 생각으로는 (만들기) 쉽지 않다. 우리가 갖고 있는 기술은 제대로 경험을 갖고 있는 사람이 5년, 10년 기술을 닦아야 내놓을 수 있다. 사실 우리나라에는 그런 것을 개발해 본 사람이 드물다고 본다. 주위에 그런 기술로 개발하는 사람도 본 적도 없고…. 그런 기술을 모르다 보니, 앱이나 응용 소프트웨어를 만드는 기술이라고 생각한다. 이 기술과 그 기술은 완전히 다르다. DB를 만들 수 있는 기술은 마치 로켓 발사체를 만드는 기술에 비유할 수 있다. 아무나 할 수 있는 일도 아니다. 로켓 발사체 제작 기술은 자동차라든가 배 만드는 기술과는 다르다. 국내 대기업들도 소프트웨어 때문에 경쟁력 저하를 우려하는데 이것과 연관 지어 그 이유를 찾을 수 있다.

 

이유를 더 구체적으로 소개한다면.

소프트웨어 DNA가 없기 때문이다. 소프트웨어를 잘 이해하지 못하기 때문에 ‘돈 주면 만들 수 있어’ 하고 생각하지 않나 싶다. 돈 주고 살 수 없는 것이 있다고 인정하는 사람만이 ‘이게 뭔데?’ 하고 관심을 갖고 쳐다 볼 수 있다. 역으로 우리나라에 소프트웨어 DNA를 갖고 있는 기업이 몇 개나 될 거라고 생각하나? 돈 많이 벌고 있는 솔루션 업체들이 소프트웨어 DNA를 갖고 있다고 생각하지 않는다.

 

그 증거가 무엇인가?

뛰어난 소프트웨어라면 수출할 수 있어야 한다. 수출을 못하는 것은 품질이 안 되기 때문이다. 미국은 그렇고…, 일본이나 동남아 국가들에도 소프트웨어 DNA를 갖고 있는 기업들이 극히 드물다. 소프트웨어 DNA를 갖고 있을 때라야 품질을 내세울 수 있다. 개발 프로세스, 사람, 유지/보수, 마케팅 등의 역량이 갖춰줬다는 의미다. 사람 몇 명 데려와서 DNA가 생겼다고 볼 수 없다. 조직 전체적인 문화에 관한 얘기이므로 쉽지가 않다. 구글, 마이크로소프트 등은 DNA를 갖고 있다(웃음).

 

DB 분야에는 세계 시장에서 품질을 인정받으면서 수출하는 기업들이 있지 않은가.

엑셈 등은 10년 넘게 한 분야를 파고 들면서 집중했기에 가능했다. 대단하다고 인정한다. 그런 업체가 좋은 제품을 잘 만들어서 미국에 진출해 제대로 뿌리를 내렸다면, 엄청나게 큰 기업이 되었을 것이다.

 

일본에도 InfiniFlux를 소개하고 있다는 소식이 있던데.

일본은 IoT라는 표현 대신에 시계열 데이터라고 한다. 현재 일본의 한 기업에서 테스트중인데 1년 안에 레퍼런스 사이트가 나올 것으로 믿고 있다. 내년에는 이 제품을 인터넷에 알려서 해외에서도 관심을 갖게 하고 싶다. 좋은 케이스 스터디를 만들어 인터넷에 공개하면 해외로부터도 분명히 반응이 올 것이라고 본다. 응용 프로그램은 다양한 대안이 있지만, InfiniFlux 같은 제품은 현재로서 대안이 없는 특이한 상품이다. <끝>

출처 : 한국데이터베이스진흥원

제공 : DB포탈사이트 DBguide.net