데이터 직무소개

DB 노하우, 데이터직무, 다양한 인터뷰를 만나보세요.

[검색엔진] 검색엔진 전문가 현황

DATA 직무소개
검색엔진
작성자
admin
작성일
2021-02-19 11:19
조회
1852

◎ 연재기사 ◎

[검색엔진] 기업용 검색엔진 시장 현황
[검색엔진 전문가 인터뷰] SW 개발 역량은 기본, 고객과의 커뮤니케이션 능력이 중요
[검색엔진] 검색엔진 전문가 현황

검색엔진 전문가 현황


기반 기술 ‘고도화’ … 경험과 역량 갖춘 인재 ‘선호’

검색엔진 직군에서 요구하는 개발자 수준은 여타의 SW 개발에 필요한 능력과 크게 다르지않다. 다만 검색엔진 기술이 기존의 단순 검색에서 벗어나 최근에는 지능형 검색 등이 주류가 되면서 요구되는 전문가 수준도 개발 역량과 경험을 중시하는 분위기로 흘러가고 있는 것이 특징. 검색엔진 전문가에는 구체적으로 어떤 분야가 있는지 살펴본다.

검색엔진 직군에서 필요로 하는 전문성은 기존의 소프트웨어 개발인력의 그것과 크게 다르지 않다. 기업들은 보통 컴퓨터공학, 전산학, 통계학 전공자 중에서 검색엔진 전문인력을 선발하지만, 관련 분야 비전공자라도 Java, C/C++, python 등의 언어 개발 역량을 갖추고 있으면 대체로 지원이 가능하다. 회사에 따라서는 리눅스 개발 경험을 요구하는 곳도 있다. 또 Apache, Tomcat, MySQL 등 오픈소스에 대한 지식 또는 개발 경험과 프레임워크, 라이브러리, 소스코드 생성기 등 각종 코드 재사용 보유 능력도 필요로 한다, 여기에다 검색엔진 솔루션의 특성상 대용량 분산 처리 시스템을 구축한 경험이나 소프트웨어 아키텍처 구성 및 성능 문제 해결할 능력을 보유하고 있으면 금상첨화다.

활용범위와 목적에 따라 다양한 직무 가능

검색엔진 직군은 검색엔진의 활용범위와 목적에 따라 자연어처리, 텍스트 마이닝, 데이터 분석 등을 포함하는 ‘언어 분석’을 중심으로 시스템 개발, 그리고 포털 등과 같이 서비스가 특히 중요한 곳에서 필요한 검색엔진 기반의 서비스 등으로 나눌 수 있다.

이 중 검색엔진 직군의 핵심적 분야 중 하나인 자연어 처리는 인간의 언어를 가공하여, 인간의 언어로 컴퓨터와 의사소통할 수 있는 기반이 되거나 응용할 수 있는 기술을 의미한다.

일반적으로 ‘언어’라고 하면 한국어, 영어 등 자연 발생적으로 생겨난 언어를 지칭하는데 언어에는 컴퓨터에서 사용되는 프로그래밍 언어와 로봇이 인식하는 언어 등 인위적으로 만들어진 언어가 있다. 자연어 처리는 컴퓨터에서 자연 언어를 인식하여 분석하고 생성하는 작업을 말한다.

자연어 처리 기술은 컴퓨터를 편리하게 사용하는 소프트웨어를 개발하는 과정에서 철자 검사, 맞춤법 검사 기능, 영어를 한국어로 혹은 한국어를 영어로 번역해 주는 기계 번역, 정보검색 시에 필요한 자동 색인, 자연어 이해 시스템 등으로 구성되어 있다.

비정형 텍스트에서 유용한 지식 추출

언어 처리 기술의 응용분야라고 할 수 있는 텍스트 마이닝은 정보검색 서비스를 편리하게 사용할 수 있도록 대용량의 텍스트로부터 유용한 지식을 추출하는 분야를 말한다. 이 분야는 대용량의 비정형 텍스트에 대해서 언어적인 현상을 고려해 복합적인 처리 과정을 거치는 것이 특징이다.

검색엔진에서는 사용자의 검색 행태를 집단 지성화하여 검색에 유용한 지식을 추출하기 위하여 질의어 로그와 클릭 로그를 저장하고 분석하는데 텍스트 마이닝을 통해서 검색어 자동완성, 연관 검색어, 문서 자동분류, 사실 추출, 오피니언 마이닝, 소셜 미디어 마이닝 등의 다양한 서비스가 제공된다.

아울러 자연어 처리와 텍스트 마이닝을 통해서 형태소 분석, 개체명 분석, 이슈어/연관어 분석, 자동 분류 및 클러스터링 등의 군집성 분석 등의 데이터 분석이 이뤄진다. 최근 들어 데이터 분석에서는 문장 단위의 감성 분석 및 주제에 대한 감성 정보 분석 등도 이뤄지고 있다.

포털 중심 서비스 인력 수요도 잇따라

언어 분석 외에도 검색엔진 직군에서도 시스템 개발 인력이 필수적으로 요구된다. 다만, 검색엔진 분야는 빅데이터 기술과도 직간접적으로 연관되어 있기 때문에 대용량 분산 처리 시스템 등을 구축한 경험이 있는 인력을 선호하는 분위기다.

이는 기업 내외부에 보유하고 있는 다량의 비정형 데이터를 분석해서 그 핵심 내용 및 데이터 간의 연관성을 파악하기 위한 빅데이터 기술과 검색엔진 직군의 언어 분석 분야가 밀접하게 연계되어 있기 때문이다.

끝으로 검색엔진 기반의 서비스 분야는 주로 포털 등 검색 서비스를 제공하는 기업들이 필요한 분야이다. 주로 포털의 자체 개발 검색엔진과 Apache, Tomcat, MySQL, No-SQL 등 오픈소스 소프트웨어를 활용하여 뉴스, 블로그, SNS, 카페, 지도위치 정보, 쇼핑 상품정보 등 데이터베이스에 특화된 검색시스템을 개발하는 업무를 주로 한다.

아울러 웹크롤러, 검색데이터저장소 등 검색서비스의 기반이 되는 주요 소프트웨어를 고도화하는 것도 검색 기반 서비스 인력이 담당하는 임무이다.

개발 역량과 경험 중시

앞 장에서 살펴보았듯 검색엔진 시장은 현재 다소 주춤하고 있으나 시장 전망은 나쁘지 않다. 최근 빅데이터 이슈와 관련해서 새로운 먹거리 창출을 기대하고 있고, 기업들의 복잡한 데이터 환경에 대응하기 위해서 실시간 검색, Q&A 검색 등 인공지능 개발도 한창이다.

이처럼 기반 기술이 고도화 되면서 요구되는 검색엔진 전문가 수준도 점차 올라가고 있는 것이 특징이다. 즉, 자연어 처리나 데이터 분석 등은 물론 시맨틱 웹 등 인공지능과 결합된 형태의 기술 개발이 진행되고 있어서 이와 관련된 개발 경험과 역량을 중시하는 분위기로 흘러가고 있다.

최광선 솔트룩스 본부장은 “학창시절부터 직접 SW 알고리즘을 개발해 보고, 오픈소스 커뮤니티 등에 들어가서 깊이 있는 공부를 하는 것을 권하고 싶다”며 “충분한 준비를 해야 입사 시 기업들에게 어필할 수 있다”고 충고했다.

경기침체로 취업문 좁아 … 해외에서도 가능성 있어 현재 검색엔진 업계가 요구하는 개발자의 수준이 높을 뿐만 아니라 검색엔진 업계의 취업문도 그리 넓지 못하다. 국내 경기가 불투명해 지면서 대기업과 외국계 기업들의 IT투자가 신규 투자보다, 기존 시스템의 유지보수에 집중되고 있기 때문이다.

그간 SW 개발자들은 상대적으로 다른 업종에 비해 취업문이 넓은 편이었지만, 경기 침체의 여파로 공공부문을 제외하면 SW 개발자들의 입지는 좁아지고 있는 상황이다. 이는 검색엔진 분야도 크게 다르지 않다.

따라서 취업문이 제한적인 국내시장만 볼 것이 아니라 시야를 넓혀 해외시장으로 눈을 돌려야 한다는 것이 전문가들의 지적이다. 일례로 검색엔진의 경우, 구글이 보유하고 있는 한국인 개발인력이 우리나라 전체 개발 인력보다 많다는 것은 시사하는 바가 크다.

이는 우리나라의 SW 개발 인력의 수준이 높다는 의미로 이해할 수도 있고, 해외시장에서 취업 성공 가능성이 있다는 방증이기도 하다. 물론 이를 위해서는 전문역량 뿐만 아니라 언어 문제 해결 등 체계적인 준비가 필요하다.

전문가들은 학창시절부터 별도로 어학 공부를 하는 것 보다 전공 서적이나 관심 있는 분야를 원서 위주로 공부하는 것이 크게 도움이 된다고 충고한다. 체계적인 준비를 한다면 구글과 같은 해외 유수기업으로의 취업도 현실이 될 수 있다.

출처 : 한국데이터베이스진흥원

제공 : 데이터 전문가 지식포털 DBguide.net


[검색엔진] 관련 자료