데이터 인터뷰

DB 노하우, 데이터직무, 다양한 인터뷰를 만나보세요.

기술 전문가 과정 7기 : 어려운 문제가 풀렸을 때의 기쁨으로 잠 못 이루다 - 최우 팀장(프리랜서, BI 솔루션 엔지니어)

DATA 인터뷰
작성자
dataonair
작성일
2014-12-05 00:00
조회
3948




방범시설과 범죄와의 상관관계 분석

기술 전문가 과정 7기 : 어려운 문제가 풀렸을 때의 기쁨으로 잠 못 이루다

in_141205.jpg

김대훈 빅데이터 아카데미 기술 전문가 과정 7기 최우팀장(프리랜서, BI 솔루션 엔지니어)

기술 전문가 과정에 지원한 배경은.

인포메티카의 ETL 도구를 현업에서 주로 다뤄왔다. 이 업체에서 하둡과 NoSQL 등을 함께 사용해야 하는 빅데이터 에디션을 출시한다고 하여 미리 준비하는 차원에서 지원했다.

‘빅데이터 플랫폼에 필요한 기본 기술을 총동원하다시피 했다’는 심사평을 들었다.

빅데이터 (처리-분석) 인프라가 궁금했으므로 하나씩 직접 살펴보고 싶었다. 직장에서도 새로운 툴을 설치하여 빨리 적응해야 하는 일을 하고 있기에 낯선 것을 두려워하지 않는 편이다.

환경 구성 자료에 나온 기술들을 실제로 모두 적용했나.

아니다. 설치하여 기능을 확인하기는 했지만 프로젝트 서버에서 그 많은 패키지를 모두 수용할 수 없었다. 다양한 기능을 일단 정지시켜놓고 Flume과 HIVE, R 등 핵심 기술을 위주로 썼다. 향후 이 프로젝트를 발전시키면서 모두 적용해보고 싶다.

‘범죄 예방’이라는 주제가 좀 특이하다.

개인적으로 안전에 대해 민감한 편이다. 집을 구할 때도 (공공) CCTV 위치와 외부 침입으로부터 안전한 구조인지를 면밀히 살펴볼 정도다(웃음). 프로젝트 주제로 ‘네트워크 로그 분석’을 하자는 제안도 나왔는데, 팀원들이 범죄 예방이라는 주제를 더 흥미로워 하여 최종 주제로 선정됐다.

지방자치단체 등 공공 프로젝트에 적합한 주제로 보인다.

그럴 수도 있다. 서울을 기준으로 놓고 볼 때, 구청별로 CCTV를 설치?운영하여 이론적인 방범 취약지구는 이미 파악하고 있을 것이다. 하지만 CCTV 설치 대수가 범죄율과 직결되지 않은 걸로 알고 있다. 우리 팀에서 수행했던 프로젝트는 빅데이터 분석의 장점을 활용해 수치로 나타난 데이터의 허점을 뛰어넘고 싶었다. ‘상권, 유치원, 학교, CCTV, 범죄발생 위치’ 등의 키워드들 사이의 상관관계 속에서 방범 사각지대를 찾고 싶었다. 범죄 예방을 위해서는 CCTV 설치 대수 확대가 능사는 아니라고 생각한다. 미국 뉴욕에서 ‘깨진 유리창 이론’을 따라 지하철에 있는 낙서를 지우면서 지하철의 범죄율이 거짓말처럼 서서히 낮아졌다고 하듯이, 상관관계 분석을 통해 CCTV 설치 확대와는 다른 근본적인 대책 도출이 가능하지 않을까 하는 생각을 했다. ‘다음 로드뷰’를 찍을 때나 자발적 참여 프로젝트를 진행해 낙서가 많고 범죄가 자주 발생한 지역을 스마트폰으로 찍어서 올리면, 해당 GPS 좌표 정보를 확보해 환경정화 작업이나 청소년 참여시설 등을 유치하여 분위기를 밝게 만들면, 더 살기 좋은 곳이 될 것이라는 생각도 해보았다.

프로젝트를 진행하면서 기억에 남는 것이 있다면.

SNS 데이터를 수집하면서 (인터넷에) 함부로 글을 쓰면 안되겠다는 것을 절감했다. ‘강도, 폭행, 절도, 성폭행, 살인’ 등 극단적인 키워드로 소셜 네트워크 서비스에서 오가는 데이터를 수집했는데. 입에 담지 못할 데이터가 오가고 있었다. 더불어 기술적으로 어려움에 봉착했던 적이 있었다. 며칠 동안 잠이 부족한 상태에서 RHIVE와 R을 연결하려 아무리 해봐도 되지 않았다. 하루가 넘게 다양한 자료를 참고해서 시도해 봐도 안됐다. 몸도 너무 피곤한 상태에서 생각했던 대로 일이 풀리지 않아 ‘그냥 넘어가야겠다’는 생각으로 잠자리에 들었다. 하지만 잠이 오지 않았다. 여기서 멈추면 그 동안 고생했던 것이 물거품이 될 거라는 생각에 다시 일어나 시도했다. 놀랍게도 연결되는 게 아닌가!. 너무 기뻐서 R 개발을 담당하는 이상민 팀원에게 밤 10시쯤에 연락했는데, 그가 기다렸다는 듯이 개발에 들어간다고 바로 응답 메시지를 보내왔다. 어떻게 개발하고 있는지 너무 궁금해 새벽 4시에 일어나 보니 “R로 좌표의 위치를 표시했다”는 반가운 카카오톡 메시지가 도착해 있었다. 바로 바톤을 이어 받아 아침 7시 30분까지 작업을 했을 때, 정말로 쌓였던 피로가 사라지면서 날아갈 것 같았다. 팀원 간에 잠이 들고 깨는 타이밍까지 척척 맞아 떨어져 신기할 정도였다.

향후 발전 계획은.

지속적으로 업데이트해 하나의 과제로 완성해 나가고 싶다. 더불어 수료 프로젝트에서 분석 도구 ‘R’의 기능을 제대로 적용하지 못한 것이 아쉬웠다. 기술 전문가 과정이었으므로 분석에 포커스를 덜 뒀지만, R에는 그동안 상상할 수 없었던 신기한 기능이 정말 많았다. 긴 코드가 필수적인 부분을 코드 몇 줄로 처리하는 등 매력적인 기능이 많았는데 직접 하나씩 배워볼 계획이다.

 

출처 : 한국데이터베이스진흥원

제공 : DB포탈사이트 DBguide.net