이번시간에는 빅데이터의 해외 기술 동향을 잠깐 살펴보려고 합니다.

물론 가트너나 포레스트같은 컨설팅 업체에서 발행하는 자료를 보면 시장 동향이나 전략에 대해서 훌륭하게 정리를 해주기 때문에 많은 도움이 됩니다.

하지만 이곳 사이트를 방문하는 분들이 주로 엔지니어들이라고 가정했을 때, 엔지니어들은 사업보다는 기술 자체에 더 관심이 많을 수 있으니 다른 방식의 접근법이 필요해 보입니다.

여러가지 방법이 있겠지만 해외 주요 컨퍼런스에서 소개되는 솔루션과 사례들을 살펴보는 것도 한 방법일 것 같습니다.

참고로 빅데이터 관련하여 해외에서 개최되는 주요 컨퍼런스로는 Strata, Hadoop World, OSCON 등이 있는데, 이 중에서 Strata와 Hadoop World는 작년까지 따로 개최되다가

중복된 내용이 많아서인지 올해부터는 하나로 합쳐졌습니다. 사실 한쪽에서 발표했던 내용을 동일한 발표자가 내용 변경 없이 다른 컨퍼런스에서 발표하기도 했습니다.

그럼 올해 3월에 미국의 Santa Clara에서 열렸던 최대 빅데이터 컨퍼런스중의 하나인 Oreilly의 Strata 컨퍼런스에서 어떠한 내용이 발표되었는지 살펴 보겠습니다.

우선 컨퍼런스의 토픽은 다음과 같이 구성되었습니다.

- Business & Industry: 빅데이터 관리 전략, 수익을 창출하기 위해서 어떻게 데이터 중심의 기업으로 변해야 하는지, 마케팅 분야의 빅데이터 활용 전략 등등
- Data Science: 빅데이터에서도 최근의 많이 주목을 받는 분야인 데이터 과학에 대한 내용
- Domain Data: 도메일별 관리해야 하는 데이터 타입들, 그리고 더 중요하게 처리해야하는 데이터의 유형에 대한 사례별 설명
- Hadoop & Bigdata: Applied: 하둡기반의 빅데이터 기술의 적용 사례
- Hadoop & Bigdata: Tech: 하둡기반의 빅데이터 기술들에 대한 소개
- Visualization & Interface: 시각화등 표현 기술들에 대한 소개
- Policy & Privacy: 데이터 Govenance, 법규, 개인 사생활 보호, 정책 등
- Sponserd session: 컨퍼런스에 후원한 업체들의 솔루션 및 사례 발표

이렇게 다양한 분야에서 다양한 주제의 세션이 진행되었고요.

컨퍼런스에서 다루었던 주요 오픈소스 솔루션은 다음과 같습니다.

- Hadoop: 빅데이터의 가장 기본이 되는 솔루션. 이제는 많은 분들이 알고 계실 듯 합니다.
- Hive & Pig: 쿼리/스크립트 분석 엔진
- R: 통계/마이닝 분석 도구
- RHadoop: R이라는 통계 패키지와 하둡과 연동한 솔루션
- Mahout: 분산 기계학습 라이브러리
- HBase: NoSQL 솔루션
- Cassandra: NoSQL 솔루션
- MongoDB: NoSQL 솔루션
- Storm: 분산 스트리밍 처리 엔진
- SpringSource: Spring에서도 Hadoop과 NoSQL을 지원하기 시작했네요.
- Crunch: 파이프라인 맵리듀스라고 해야 하나요. MapReduce응용 개발 도구이며 Hive/Pig 보다는 좀더 세부적으로 MapReduce 핸들링이 가능
- d3.js: 자바스크립트 시각화 라이브러리
- NodeXL: 소셜미디어 네트워크 시각화 도구
- talend: Business Intelligence 솔루션
- Pentaho: Business Intelligence 솔루션
- Ceph: 대용량 분산 스토리지

일부 기재하지 않은 솔루션들이 있을 수 있지만, 위에서 언급한 기술들은 빅데이터를 하는데 있어서 근간이 되는 기술들이라고 할 수 있습니다.

물론 언급한 기술들을 전부 능숙하게 다룬다는 것은 현실적으로 불가능하지만 시작이 되는 기술은 Hadoop이라고 할 수 있습니다.

이밖에 컨퍼런스에 참여한 상용 솔루션 업체들도 많이 있는데 일부 신생 빅데이터 업체의 솔루션들을 눈여겨 볼 필요가 있습니다.

이러한 업체들은 실리콘벨리의 벤처캐피탈로부터 투자를 받고 솔루션을 개발하는경우가 많습니다.

벤처캐피탈로부터 투자를 받았다는 것은 해당 기술에 대한 가치나 발전 가능성을 시장에서 인정했다는 의미입니다.

글로벌 대기업의 경우는 과거부터 다양한 영역의 사업을 이미 수행해왔기 때문에, 이미 수많은 고객을 확보한 상태이고 따라서 다양한 영업 채널이나 방법을 통해서 솔루션 개발/구축 사업이 가능합니다.

하지만 신생 벤처기업은 기술로 승부를 해야하기 때문에 대기업 같은 접근 방법을 취할수 없느 경우가 많기 때문에, 그 기술이 시장에서 차별화된 가치를 만들어 낼 수 있어야 합니다.

이러한 맥락에서 어떠한 솔루션들이 개발되고 있는지 참고를 하시면 될 것 같습니다.

Strata 2012 웹사이트는 아래와 같습니다.

http://strataconf.com/strata2012

가서 보시면 발표자료도 볼수 있고요. Keynote 세션의 경우 동영상도 볼수 있습니다.

전체 강의 동영상을 묶어서 유료로 판매를 하기도 하는데요. 빅데이터 분야의 솔루션을 개발한다거나, 사업을 준비하시는 분들이라면 피와 살이 되는 내용이니 조금 비용이 들더라도 과감하게 구매해서 보시기를 권합니다.

다음에는 위에 언급된 기술들에 대해서 좀더 구체적으로 살펴보도록 하겠습니다.